Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai30. Juni 2026 · Q007460

Introducing GeneBench-Pro

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI stellt GeneBench-Pro vor, einen Benchmark mit 129 synthetischen Aufgaben, der prüft, ob KI-Agenten mehrstufige und unsichere Forschungsanalysen in der Computational Biology sinnvoll beurteilen und anpassen können. Nach den berichteten Ergebnissen erreichte GPT‑5.6 Sol höchstens 31,5 Prozent; der Bericht stammt von den Entwicklern und kündigt eine unabhängige Prüfung erst an.

Mittel

OpenAI beschreibt GeneBench-Pro als Benchmark für wissenschaftliche Urteilsfähigkeit in der Computational Biology. Die 129 Aufgaben aus zehn Bereichen verlangen, unaufgeräumte Daten zu untersuchen, passende Methoden auszuwählen, Analysen iterativ anzupassen und Ergebnisse im Hinblick auf nachgelagerte Entscheidungen einzuordnen. Die Entwickler erzeugten die Aufgaben synthetisch mit bekannter kausaler Struktur, prüften Fehlanalysen und mögliche Abkürzungen und ließen 82 Aufgaben von externen Fachleuten begutachten.

Laut Bericht bestand GPT‑5.6 Sol bei höchster Denkstufe 28,7 Prozent der Aufgaben, mit Pro-Modus 31,5 Prozent; bei niedriger Denkstufe lag die Quote im einstelligen Bereich. Ein Fallbeispiel soll zeigen, dass GPT‑5.6 Sol zeitabhängige Störfaktoren besser berücksichtigte als GPT‑5.5. Die Autoren betonen zugleich, dass aktuelle Agenten weniger als ein Drittel der Aufgaben lösen und Experten daher nicht ersetzen. Sie sehen Möglichkeiten für Teilautomatisierung. Die Darstellung stammt von den Benchmark-Entwicklern; vollständige Ergebnisdaten oder eine bereits abgeschlossene unabhängige Prüfung enthält der Bericht nicht. Zehn Aufgaben sind zur Veröffentlichung vorgesehen, eine externe Bewertung von 50 Aufgaben wird angekündigt.

Ausführlich lesen

Der Bericht stellt GeneBench-Pro vor, einen von OpenAI entwickelten Benchmark für anspruchsvolle Analysen in der Computational Biology. Er soll untersuchen, ob KI-Modelle mit den Urteilen umgehen können, die Forschung neben Faktenwissen und der Ausführung vorgegebener Arbeitsschritte erfordert: etwa zu entscheiden, welche Frage die Daten beantworten können, ob ein beobachtetes Muster biologisch oder ein Artefakt ist, wie Diagnosen die Analyse verändern sollten und wann ein Ergebnis belastbar genug für eine Entscheidung ist. OpenAI bezeichnet diese zusammenhängenden Urteile als „research taste“.

GeneBench-Pro umfasst 129 Aufgaben aus zehn Bereichen und 21 Unterbereichen. In jeder Aufgabe erhalten Agenten einen unaufgeräumten Datensatz, knappen experimentellen Kontext und eine Zielgröße, die an eine nachgelagerte Entscheidung geknüpft ist. Sie sollen die Daten untersuchen, eine passende Analyse wählen, diese iterativ anpassen und ein Ergebnis liefern. Für die Bearbeitung steht ein isolierter Arbeitsbereich mit Python und gängigen wissenschaftlichen und bioinformatischen Werkzeugen bereit.

Laut Bericht sind die Aufgaben synthetisch erzeugt: Die Entwickler kennen die vollständige kausale Struktur und simulieren den Datengenerierungsprozess. Dadurch sollen sie die Schwierigkeit steuern, vertretbare analytische Entscheidungen mit akzeptierten numerischen Ergebnissen vereinbaren und mit Ablationsstudien prüfen können, ob plausible Fehlanalysen durchfallen. Entwürfe würden außerdem anhand detaillierter Analyseprotokolle auf Informationslecks und unbeabsichtigte Lösungswege untersucht. 82 der 129 Aufgaben wurden externen Fachleuten vorgelegt; deren Rückmeldungen zu Realitätsnähe, Identifizierbarkeit der Zielantwort und Eignung der Methoden flossen in Überarbeitungen ein.

OpenAI berichtet, dass sein zum Testzeitpunkt stärkstes Modell GPT‑5.6 Sol auf der höchsten Denkstufe 28,7 Prozent der Aufgaben bestand, mit Pro-Modus 31,5 Prozent. Bei niedriger Denkstufe lag die Quote im einstelligen Bereich. Der Bericht nennt außerdem einen starken Anstieg gegenüber dem ursprünglichen GeneBench, bei dem GPT‑5 unter fünf Prozent erreicht habe. Als Beispiel für Fortschritte führt er eine pharmakogenomische Überlebensanalyse an: GPT‑5.5 habe zwar Behandlung als zeitabhängige Exposition modelliert, aber Rückkopplungen zwischen Behandlung und zeitabhängigen Störfaktoren nicht berücksichtigt. GPT‑5.6 Sol habe laut Bericht stattdessen ein marginales strukturelles Cox-Modell mit Gewichtung, Ausschluss markierter bereits behandelter Personen und einer Verzögerung der Behandlungswirkung verwendet.

Die Ergebnisse zeigen nach Darstellung der Autoren sowohl Fortschritte als auch deutliche Grenzen: Selbst das beste berichtete Ergebnis liegt unter einem Drittel. Fachleute schätzten den Zeitaufwand für eine typische Aufgabe auf 20 bis 40 Stunden; aktuelle Agenten seien noch nicht zuverlässig genug, um Experten zu ersetzen. OpenAI sieht dennoch Potenzial für Teilautomatisierung. Der Bericht ist eine Darstellung der Benchmark-Entwickler; er nennt hier keine vollständigen Ergebnisdaten oder unabhängige Validierung der berichteten Modellvergleiche. Zehn Aufgaben sollen öffentlich zugänglich sein, eine unabhängige Bewertung einer 50-Aufgaben-Auswahl wird für die Zukunft angekündigt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Bericht. Die Stufen von Luna wurden nicht übernommen. Teilfragen gab es nicht, daher wurde nur je Sammelfrage bewertet.

Im Bericht, aber nicht in der Zusammenfassung

  • Kostenvergleich: Ein menschlicher Experte braucht laut Bericht etwa 20 bis 40 Stunden pro Aufgabe, KI-Inferenz kostet dagegen nur einige Dollar pro Aufgabe
  • Schneller Fortschritt: Das beste Modell der ersten GeneBench-Version (GPT-5) lag unter 5 Prozent, und der Benchmark könnte bis Jahresende gesättigt sein

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 22 %einzelne zitierbare Belege
    • amos 26 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 26 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 49 %einzelne zitierbare Belege
    • amos 31 %nur am Rande erwähnt
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 31 %einzelne zitierbare Belege
    • JEV 25 %beantwortet teilweise oder widerspricht
    • amos 28 %einzelne zitierbare Belege
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 30 %einzelne zitierbare Belege
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 54 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV 52 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 52 %einzelne zitierbare Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 56 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 42 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 48 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %Hintergrund, keine Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →