Introducing GeneBench-Pro
Zusammenfassung
Kurz
OpenAI stellt GeneBench-Pro vor, einen Benchmark mit 129 synthetischen Aufgaben, der prüft, ob KI-Agenten mehrstufige und unsichere Forschungsanalysen in der Computational Biology sinnvoll beurteilen und anpassen können. Nach den berichteten Ergebnissen erreichte GPT‑5.6 Sol höchstens 31,5 Prozent; der Bericht stammt von den Entwicklern und kündigt eine unabhängige Prüfung erst an.
Mittel
OpenAI beschreibt GeneBench-Pro als Benchmark für wissenschaftliche Urteilsfähigkeit in der Computational Biology. Die 129 Aufgaben aus zehn Bereichen verlangen, unaufgeräumte Daten zu untersuchen, passende Methoden auszuwählen, Analysen iterativ anzupassen und Ergebnisse im Hinblick auf nachgelagerte Entscheidungen einzuordnen. Die Entwickler erzeugten die Aufgaben synthetisch mit bekannter kausaler Struktur, prüften Fehlanalysen und mögliche Abkürzungen und ließen 82 Aufgaben von externen Fachleuten begutachten.
Laut Bericht bestand GPT‑5.6 Sol bei höchster Denkstufe 28,7 Prozent der Aufgaben, mit Pro-Modus 31,5 Prozent; bei niedriger Denkstufe lag die Quote im einstelligen Bereich. Ein Fallbeispiel soll zeigen, dass GPT‑5.6 Sol zeitabhängige Störfaktoren besser berücksichtigte als GPT‑5.5. Die Autoren betonen zugleich, dass aktuelle Agenten weniger als ein Drittel der Aufgaben lösen und Experten daher nicht ersetzen. Sie sehen Möglichkeiten für Teilautomatisierung. Die Darstellung stammt von den Benchmark-Entwicklern; vollständige Ergebnisdaten oder eine bereits abgeschlossene unabhängige Prüfung enthält der Bericht nicht. Zehn Aufgaben sind zur Veröffentlichung vorgesehen, eine externe Bewertung von 50 Aufgaben wird angekündigt.
Ausführlich lesen
Der Bericht stellt GeneBench-Pro vor, einen von OpenAI entwickelten Benchmark für anspruchsvolle Analysen in der Computational Biology. Er soll untersuchen, ob KI-Modelle mit den Urteilen umgehen können, die Forschung neben Faktenwissen und der Ausführung vorgegebener Arbeitsschritte erfordert: etwa zu entscheiden, welche Frage die Daten beantworten können, ob ein beobachtetes Muster biologisch oder ein Artefakt ist, wie Diagnosen die Analyse verändern sollten und wann ein Ergebnis belastbar genug für eine Entscheidung ist. OpenAI bezeichnet diese zusammenhängenden Urteile als „research taste“.
GeneBench-Pro umfasst 129 Aufgaben aus zehn Bereichen und 21 Unterbereichen. In jeder Aufgabe erhalten Agenten einen unaufgeräumten Datensatz, knappen experimentellen Kontext und eine Zielgröße, die an eine nachgelagerte Entscheidung geknüpft ist. Sie sollen die Daten untersuchen, eine passende Analyse wählen, diese iterativ anpassen und ein Ergebnis liefern. Für die Bearbeitung steht ein isolierter Arbeitsbereich mit Python und gängigen wissenschaftlichen und bioinformatischen Werkzeugen bereit.
Laut Bericht sind die Aufgaben synthetisch erzeugt: Die Entwickler kennen die vollständige kausale Struktur und simulieren den Datengenerierungsprozess. Dadurch sollen sie die Schwierigkeit steuern, vertretbare analytische Entscheidungen mit akzeptierten numerischen Ergebnissen vereinbaren und mit Ablationsstudien prüfen können, ob plausible Fehlanalysen durchfallen. Entwürfe würden außerdem anhand detaillierter Analyseprotokolle auf Informationslecks und unbeabsichtigte Lösungswege untersucht. 82 der 129 Aufgaben wurden externen Fachleuten vorgelegt; deren Rückmeldungen zu Realitätsnähe, Identifizierbarkeit der Zielantwort und Eignung der Methoden flossen in Überarbeitungen ein.
OpenAI berichtet, dass sein zum Testzeitpunkt stärkstes Modell GPT‑5.6 Sol auf der höchsten Denkstufe 28,7 Prozent der Aufgaben bestand, mit Pro-Modus 31,5 Prozent. Bei niedriger Denkstufe lag die Quote im einstelligen Bereich. Der Bericht nennt außerdem einen starken Anstieg gegenüber dem ursprünglichen GeneBench, bei dem GPT‑5 unter fünf Prozent erreicht habe. Als Beispiel für Fortschritte führt er eine pharmakogenomische Überlebensanalyse an: GPT‑5.5 habe zwar Behandlung als zeitabhängige Exposition modelliert, aber Rückkopplungen zwischen Behandlung und zeitabhängigen Störfaktoren nicht berücksichtigt. GPT‑5.6 Sol habe laut Bericht stattdessen ein marginales strukturelles Cox-Modell mit Gewichtung, Ausschluss markierter bereits behandelter Personen und einer Verzögerung der Behandlungswirkung verwendet.
Die Ergebnisse zeigen nach Darstellung der Autoren sowohl Fortschritte als auch deutliche Grenzen: Selbst das beste berichtete Ergebnis liegt unter einem Drittel. Fachleute schätzten den Zeitaufwand für eine typische Aufgabe auf 20 bis 40 Stunden; aktuelle Agenten seien noch nicht zuverlässig genug, um Experten zu ersetzen. OpenAI sieht dennoch Potenzial für Teilautomatisierung. Der Bericht ist eine Darstellung der Benchmark-Entwickler; er nennt hier keine vollständigen Ergebnisdaten oder unabhängige Validierung der berichteten Modellvergleiche. Zehn Aufgaben sollen öffentlich zugänglich sein, eine unabhängige Bewertung einer 50-Aufgaben-Auswahl wird für die Zukunft angekündigt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Einordnung stützt sich nur auf den Bericht. Die Stufen von Luna wurden nicht übernommen. Teilfragen gab es nicht, daher wurde nur je Sammelfrage bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Kostenvergleich: Ein menschlicher Experte braucht laut Bericht etwa 20 bis 40 Stunden pro Aufgabe, KI-Inferenz kostet dagegen nur einige Dollar pro Aufgabe
- Schneller Fortschritt: Das beste Modell der ersten GeneBench-Version (GPT-5) lag unter 5 Prozent, und der Benchmark könnte bis Jahresende gesättigt sein
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M2 Wie muss ein Meldekanal zwischen Staaten gebaut sein, damit er verlässlich arbeitet, auch in einer Krise?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 35 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 22 %einzelne zitierbare Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 37 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 27 %gleiches Oberthema, hilft nicht
- SubQ 43 %gleiches Oberthema, hilft nicht
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 49 %einzelne zitierbare Belege
- amos 31 %nur am Rande erwähnt
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 32 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 31 %einzelne zitierbare Belege
- JEV 25 %beantwortet teilweise oder widerspricht
- amos 28 %einzelne zitierbare Belege
- SubQ 32 %gleiches Oberthema, hilft nicht
- drex 30 %einzelne zitierbare Belege
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 55 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 28 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 52 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 41 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 52 %einzelne zitierbare Belege
- amos 28 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 56 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %einzelne zitierbare Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 48 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %Hintergrund, keine Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- Alle Berichte im Archiv