Introducing LifeSciBench
Zusammenfassung
Kurz
LifeSciBench umfasst laut Bericht 750 fachlich erstellte Forschungsaufgaben und bewertet neben Antworten auch Begründungen, Unsicherheit und den Umgang mit Datenartefakten. OpenAI berichtet Fortschritte von GPT‑Rosalind gegenüber GPT‑5.5, zugleich aber deutliche Schwierigkeiten bei artefaktreichen, analytischen und exakten Aufgaben. Der Benchmark prüft abgeschlossene Aufgaben; Auswirkungen auf reale Forschung müsse man in längerfristigen Studien untersuchen.
Mittel
Der Bericht beschreibt LifeSciBench als Benchmark für realistische biowissenschaftliche Forschungsaufgaben. Er umfasst 750 von Fachleuten erstellte Aufgaben in sieben Arbeitsabläufen und Fachgebieten, 1.062 begleitende Artefakte und 19.020 aufgabenspezifische Bewertungskriterien. Laut Bericht verlangen 79 Prozent der Aufgaben mehrere Denkschritte und 53 Prozent die Auswertung mindestens eines Artefakts. Eine unabhängige Gruppe von 453 Fachleuten bewertete die Aufgaben insgesamt mit mindestens 96,5 Prozent Zustimmung je Kategorie.
OpenAI berichtet, GPT‑Rosalind erreiche eine Passrate von 36,1 Prozent gegenüber 25,7 Prozent für GPT‑5.5. Stärker seien die Ergebnisse unter anderem bei wissenschaftlicher Kommunikation und Translation; bei der Kommunikation sei wegen nur neun Aufgaben Vorsicht geboten. Schwächen zeigten sich bei Analyse, Versuchsplanung, Artefakten sowie exakten numerischen und Sequenz- oder Strukturausgaben. Die Passrate von GPT‑Rosalind falle bei Aufgaben mit Artefakten oder URLs gegenüber reinen Textaufgaben deutlich ab.
Der Bericht schränkt ein, dass der Benchmark selbstständige Aufgaben und nicht den gesamten iterativen Forschungsprozess abbildet. Gute Ergebnisse seien deshalb kein direkter Nachweis größerer Forschungserfolge. Dafür seien längerfristige Untersuchungen in realen Forschungsabläufen nötig.
Ausführlich lesen
Der Bericht stellt LifeSciBench als Benchmark vor, mit dem geprüft werden soll, wie gut KI-Systeme realistische Aufgaben der biowissenschaftlichen Forschung unterstützen. Die Autoren argumentieren, dass viele bestehende Tests einzelne Fachgebiete oder klar abgegrenzte Fragen abdecken, während praktische Forschung unvollständige und widersprüchliche Evidenz, mehrstufige Entscheidungen, Versuchsplanung und den Umgang mit Unsicherheit erfordert.
LifeSciBench umfasst laut Bericht 750 von Fachleuten verfasste Aufgaben aus sieben Arbeitsabläufen und sieben biologischen Fachgebieten. 173 Forschende mit Promotion und Industrieerfahrung wirkten an der Erstellung mit. Die Aufgaben enthalten teils unterstützende Dateien; insgesamt seien 1.062 Artefakte wie Abbildungen, Tabellen, Sequenz- und Strukturdateien sowie Dokumente beigefügt. 79 Prozent der Aufgaben erforderten mehrere Denk- oder Entscheidungsschritte, durchschnittlich vier; bei 53 Prozent müsse mindestens ein Artefakt ausgewertet werden. Für die Bewertung gebe es 19.020 Kriterien in aufgabenspezifischen Rubriken. Die Aufgaben seien über mehrere automatische und mindestens zwei fachliche Prüfrunden überarbeitet worden. Die fachlichen Bewertungen beruhten laut Bericht auf überprüfbaren Antworten oder mindestens 90-prozentiger Übereinstimmung im jeweiligen Gebiet.
Eine unabhängige Prüfung durch 453 Personen, von denen 97 Prozent promoviert oder gleichwertig qualifiziert gewesen seien, bewertete die Aufgaben überwiegend positiv: Die Gesamtzustimmung lag je nach Prüfkategorie zwischen 96,5 und 98,3 Prozent. Der Bericht beschreibt diese Werte als Beleg für Realitätsnähe, wissenschaftliche Fundierung und Nutzen der Aufgaben.
Bei den Modellergebnissen berichtet OpenAI, GPT‑Rosalind erreiche eine Gesamt-Passrate von 36,1 Prozent gegenüber 25,7 Prozent für GPT‑5.5. Besonders deutliche Zugewinne gebe es bei wissenschaftlicher Kommunikation (71,1 gegenüber 56,3 Prozent) und Translation, also der Übertragung präklinischer Erkenntnisse in klinische Zusammenhänge (57,7 gegenüber 36,8 Prozent). Diese Werte seien bei der Kommunikation wegen der kleinen Aufgabenzahl von neun vorsichtig zu interpretieren. Auch bei Rubrikkriterien für handlungsrelevante Antworten und den Umgang mit Unsicherheit liege GPT‑Rosalind vorn.
Schwierigkeiten zeigten sich vor allem bei Analyse, Versuchsplanung und Optimierung sowie bei Aufgaben mit Dateien oder exakten Ausgaben. Die Passrate von GPT‑Rosalind sinke von 45,1 Prozent bei reinen Textaufgaben auf 28,1 Prozent bei Aufgaben mit Artefakten oder URLs. Bei numerischen Aufgaben liege sie bei 14,8 Prozent, bei Sequenz- oder Strukturausgaben bei 24 Prozent. Der Bericht merkt an, dass strenge Bewertung kleiner Format- oder Rechenfehler die Passraten drücken könne, die Fehler aber für praktische Anwendungen dennoch relevant seien. Teilweise erzielten Modelle trotz verfehlter Bestehensschwelle beträchtliche Rubrikpunkte.
Als Grenze betont der Bericht, dass LifeSciBench selbstständige, in sich abgeschlossene Aufgaben prüft und weder sämtliche Fachgebiete noch die iterative Dynamik laufender Forschungsprogramme abbildet. Gute Benchmarkwerte belegten daher aufgabenbezogene Fähigkeiten, aber nicht unmittelbar einen größeren Forschungserfolg. Ob KI Entdeckungen beschleunigt oder Forschung und Entwicklung verbessert, müsse in längerfristigen Studien mit realen Forschungsabläufen und mehreren Feedback- und Versuchszyklen untersucht werden.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung fällt durchgehend niedrig aus, weil der Bericht einen Benchmark für Life-Science-Aufgaben beschreibt und keine Fragen zu Laborselbstkontrolle, Schwellenwerten oder Verhaltensregeln behandelt.
Im Bericht, aber nicht in der Zusammenfassung
- Bewertungslogik: Passrate mit 70-Prozent-Schwelle und Score als durchschnittlicher Rubrik-Teilkredit
- Befund, dass Modelle in rund 14 Prozent der Aufgaben hohe Teilpunkte erreichen, obwohl sie die Bestehensschwelle verfehlen (109 Aufgaben bei GPT-Rosalind)
- Konkrete Werte für Design/Optimierung (30,7 Prozent) und Analyse (30,3 Prozent) sowie Konstruktaufgaben (27,3 Prozent)
- Die Ergebnisse stammen aus einem Eigenbericht des Anbieters OpenAI zum eigenen Modell
- Die Ausführung der Validierung mit 173 Wissenschaftlern und 453 Gutachtern wird in der kurzen Fassung nur am Rand erwähnt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 33 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 40 %einzelne zitierbare Belege
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 37 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 48 %einzelne zitierbare Belege
- JEV 21 %einzelne zitierbare Belege
- amos 26 %Hintergrund, keine Belege
- SubQ 25 %gleiches Oberthema, hilft nicht
- drex 22 %einzelne zitierbare Belege
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3-T03 Welche Rolle spielten Modelle der geprüften Modellfamilie, wenn überhaupt, beim Entwerfen, Durchführen oder Bewerten von Prüfungen oder Sicherheitsberichten, die Regierungen vorgelegt werden, und wird diese Rolle offengelegt?
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung kein Bezug
- SF-T1-T03 Welchen Prüfpunkt für Fähigkeiten und welche Bescheinigung würde ein Labor heute schriftlich zusagen, bevor eine Aufsichtsbehörde ihm einen solchen Prüfpunkt vorschreibt?
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 69 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 74 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 33 %einzelne zitierbare Belege
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 40 %gleiches Oberthema, hilft nicht
- JEV 33 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 60 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 30 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv