Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai17. Juni 2026 · Q007562

Introducing LifeSciBench

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

LifeSciBench umfasst laut Bericht 750 fachlich erstellte Forschungsaufgaben und bewertet neben Antworten auch Begründungen, Unsicherheit und den Umgang mit Datenartefakten. OpenAI berichtet Fortschritte von GPT‑Rosalind gegenüber GPT‑5.5, zugleich aber deutliche Schwierigkeiten bei artefaktreichen, analytischen und exakten Aufgaben. Der Benchmark prüft abgeschlossene Aufgaben; Auswirkungen auf reale Forschung müsse man in längerfristigen Studien untersuchen.

Mittel

Der Bericht beschreibt LifeSciBench als Benchmark für realistische biowissenschaftliche Forschungsaufgaben. Er umfasst 750 von Fachleuten erstellte Aufgaben in sieben Arbeitsabläufen und Fachgebieten, 1.062 begleitende Artefakte und 19.020 aufgabenspezifische Bewertungskriterien. Laut Bericht verlangen 79 Prozent der Aufgaben mehrere Denkschritte und 53 Prozent die Auswertung mindestens eines Artefakts. Eine unabhängige Gruppe von 453 Fachleuten bewertete die Aufgaben insgesamt mit mindestens 96,5 Prozent Zustimmung je Kategorie.

OpenAI berichtet, GPT‑Rosalind erreiche eine Passrate von 36,1 Prozent gegenüber 25,7 Prozent für GPT‑5.5. Stärker seien die Ergebnisse unter anderem bei wissenschaftlicher Kommunikation und Translation; bei der Kommunikation sei wegen nur neun Aufgaben Vorsicht geboten. Schwächen zeigten sich bei Analyse, Versuchsplanung, Artefakten sowie exakten numerischen und Sequenz- oder Strukturausgaben. Die Passrate von GPT‑Rosalind falle bei Aufgaben mit Artefakten oder URLs gegenüber reinen Textaufgaben deutlich ab.

Der Bericht schränkt ein, dass der Benchmark selbstständige Aufgaben und nicht den gesamten iterativen Forschungsprozess abbildet. Gute Ergebnisse seien deshalb kein direkter Nachweis größerer Forschungserfolge. Dafür seien längerfristige Untersuchungen in realen Forschungsabläufen nötig.

Ausführlich lesen

Der Bericht stellt LifeSciBench als Benchmark vor, mit dem geprüft werden soll, wie gut KI-Systeme realistische Aufgaben der biowissenschaftlichen Forschung unterstützen. Die Autoren argumentieren, dass viele bestehende Tests einzelne Fachgebiete oder klar abgegrenzte Fragen abdecken, während praktische Forschung unvollständige und widersprüchliche Evidenz, mehrstufige Entscheidungen, Versuchsplanung und den Umgang mit Unsicherheit erfordert.

LifeSciBench umfasst laut Bericht 750 von Fachleuten verfasste Aufgaben aus sieben Arbeitsabläufen und sieben biologischen Fachgebieten. 173 Forschende mit Promotion und Industrieerfahrung wirkten an der Erstellung mit. Die Aufgaben enthalten teils unterstützende Dateien; insgesamt seien 1.062 Artefakte wie Abbildungen, Tabellen, Sequenz- und Strukturdateien sowie Dokumente beigefügt. 79 Prozent der Aufgaben erforderten mehrere Denk- oder Entscheidungsschritte, durchschnittlich vier; bei 53 Prozent müsse mindestens ein Artefakt ausgewertet werden. Für die Bewertung gebe es 19.020 Kriterien in aufgabenspezifischen Rubriken. Die Aufgaben seien über mehrere automatische und mindestens zwei fachliche Prüfrunden überarbeitet worden. Die fachlichen Bewertungen beruhten laut Bericht auf überprüfbaren Antworten oder mindestens 90-prozentiger Übereinstimmung im jeweiligen Gebiet.

Eine unabhängige Prüfung durch 453 Personen, von denen 97 Prozent promoviert oder gleichwertig qualifiziert gewesen seien, bewertete die Aufgaben überwiegend positiv: Die Gesamtzustimmung lag je nach Prüfkategorie zwischen 96,5 und 98,3 Prozent. Der Bericht beschreibt diese Werte als Beleg für Realitätsnähe, wissenschaftliche Fundierung und Nutzen der Aufgaben.

Bei den Modellergebnissen berichtet OpenAI, GPT‑Rosalind erreiche eine Gesamt-Passrate von 36,1 Prozent gegenüber 25,7 Prozent für GPT‑5.5. Besonders deutliche Zugewinne gebe es bei wissenschaftlicher Kommunikation (71,1 gegenüber 56,3 Prozent) und Translation, also der Übertragung präklinischer Erkenntnisse in klinische Zusammenhänge (57,7 gegenüber 36,8 Prozent). Diese Werte seien bei der Kommunikation wegen der kleinen Aufgabenzahl von neun vorsichtig zu interpretieren. Auch bei Rubrikkriterien für handlungsrelevante Antworten und den Umgang mit Unsicherheit liege GPT‑Rosalind vorn.

Schwierigkeiten zeigten sich vor allem bei Analyse, Versuchsplanung und Optimierung sowie bei Aufgaben mit Dateien oder exakten Ausgaben. Die Passrate von GPT‑Rosalind sinke von 45,1 Prozent bei reinen Textaufgaben auf 28,1 Prozent bei Aufgaben mit Artefakten oder URLs. Bei numerischen Aufgaben liege sie bei 14,8 Prozent, bei Sequenz- oder Strukturausgaben bei 24 Prozent. Der Bericht merkt an, dass strenge Bewertung kleiner Format- oder Rechenfehler die Passraten drücken könne, die Fehler aber für praktische Anwendungen dennoch relevant seien. Teilweise erzielten Modelle trotz verfehlter Bestehensschwelle beträchtliche Rubrikpunkte.

Als Grenze betont der Bericht, dass LifeSciBench selbstständige, in sich abgeschlossene Aufgaben prüft und weder sämtliche Fachgebiete noch die iterative Dynamik laufender Forschungsprogramme abbildet. Gute Benchmarkwerte belegten daher aufgabenbezogene Fähigkeiten, aber nicht unmittelbar einen größeren Forschungserfolg. Ob KI Entdeckungen beschleunigt oder Forschung und Entwicklung verbessert, müsse in längerfristigen Studien mit realen Forschungsabläufen und mehreren Feedback- und Versuchszyklen untersucht werden.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung fällt durchgehend niedrig aus, weil der Bericht einen Benchmark für Life-Science-Aufgaben beschreibt und keine Fragen zu Laborselbstkontrolle, Schwellenwerten oder Verhaltensregeln behandelt.

Im Bericht, aber nicht in der Zusammenfassung

  • Bewertungslogik: Passrate mit 70-Prozent-Schwelle und Score als durchschnittlicher Rubrik-Teilkredit
  • Befund, dass Modelle in rund 14 Prozent der Aufgaben hohe Teilpunkte erreichen, obwohl sie die Bestehensschwelle verfehlen (109 Aufgaben bei GPT-Rosalind)
  • Konkrete Werte für Design/Optimierung (30,7 Prozent) und Analyse (30,3 Prozent) sowie Konstruktaufgaben (27,3 Prozent)
  • Die Ergebnisse stammen aus einem Eigenbericht des Anbieters OpenAI zum eigenen Modell
  • Die Ausführung der Validierung mit 173 Wissenschaftlern und 453 Gutachtern wird in der kurzen Fassung nur am Rand erwähnt

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 40 %einzelne zitierbare Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 48 %einzelne zitierbare Belege
    • JEV 21 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 25 %gleiches Oberthema, hilft nicht
    • drex 22 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung kein Bezug

Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 40 %gleiches Oberthema, hilft nicht
    • JEV 33 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung kein Bezug
Agenten und vernetzte Systeme
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 30 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →