Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai16. Dezember 2025 · Q001727

Evaluating AI’s ability to perform scientific research tasks

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI zufolge erreicht GPT‑5.2 im neuen FrontierScience-Benchmark 77 Prozent bei Olympiad-Aufgaben und 25 Prozent bei offenen Forschungsaufgaben; Gemini 3 Pro liegt im Olympiad-Teil knapp dahinter. Der Benchmark nutzt fachlich entwickelte Aufgaben und automatisierte Bewertungen, bildet aber weder die gesamte Forschungspraxis noch neuartige Hypothesen, multimodale Arbeit oder reale Experimente umfassend ab.

Mittel

OpenAI stellt FrontierScience als Benchmark für anspruchsvolle wissenschaftliche Aufgaben in Physik, Chemie und Biologie vor. Er umfasst laut Bericht mehr als 700 Textaufgaben, darunter einen Goldsatz mit 100 Olympiad-Aufgaben und 60 offenen Forschungsaufgaben. Fachleute entwarfen und prüften die Fragen. Olympiad-Aufgaben werden anhand kurzer Antworten bewertet; Research-Aufgaben mit einem zehn Punkte umfassenden Raster, das auch Zwischenschritte berücksichtigt. GPT‑5 bewertet die Antworten automatisiert.

In den ersten Vergleichen erzielte GPT‑5.2 laut OpenAI 77 Prozent bei Olympiad und 25 Prozent bei Research. Gemini 3 Pro kam bei Olympiad auf 76 Prozent. Der Bericht nennt weiterhin Fehler bei Logik, Berechnungen und Fachwissen und sieht besonders bei offenen Forschungsaufgaben Verbesserungsbedarf. Die Entwicklung der Aufgaben könnte interne OpenAI-Modelle begünstigt benachteiligen, da Aufgaben aussortiert wurden, die diese bereits lösen konnten.

OpenAI zufolge bietet der Benchmark einen genaueren Einblick in ausgewählte Fähigkeiten, bildet wissenschaftliche Praxis aber nicht vollständig ab. Er prüft weder umfassend neue Hypothesen noch multimodale Arbeit oder reale Experimente. Das Unternehmen will die Aufgaben ausbauen und realitätsnähere Evaluationen ergänzen.

Ausführlich lesen

OpenAI stellt mit FrontierScience einen Benchmark vor, der prüfen soll, wie gut KI-Modelle anspruchsvolle wissenschaftliche Aufgaben in Physik, Chemie und Biologie bearbeiten. Das Unternehmen begründet den Bedarf damit, dass bestehende Benchmarks häufig Multiple-Choice-Fragen verwenden, bereits weitgehend ausgeschöpft seien oder Wissenschaft nicht gezielt genug abbildeten. FrontierScience soll deshalb schwierigere, originelle und fachlich bedeutsame Aufgaben bündeln. OpenAI verweist zugleich auf frühere Fortschritte seiner Modelle und berichtet, GPT‑5 werde bereits für wissenschaftliche Arbeitsabläufe genutzt. Eine im Text erwähnte frühere Untersuchung beschreibe erste Hinweise auf Beschleunigungen; konkrete Einzelheiten dazu liefert dieser Bericht nicht.

Der Benchmark umfasst laut OpenAI mehr als 700 Textaufgaben; 160 davon bilden den Goldsatz. Er hat zwei Teile: FrontierScience-Olympiad enthält 100 kurze, begrenzt beantwortbare Aufgaben, die von internationalen Olympiadenmedaillengewinnern entworfen wurden. FrontierScience-Research enthält 60 mehrstufige Forschungsaufgaben, die von promovierten oder in der Promotion befindlichen Fachleuten entwickelt wurden. Die Aufgaben sollen selbstständig lösbar und in etwa so anspruchsvoll sein wie Probleme, denen Forschende auf PhD-Niveau begegnen. Fachleute prüften Aufgaben in vier Schritten: Erstellung, Begutachtung, Lösung und Überarbeitung. OpenAI sagt, die Aufgaben seien unter anderem auf Sachrichtigkeit, Bewertbarkeit, Objektivität und Schwierigkeit geprüft worden. Bei der Entwicklung wurden Aufgaben aussortiert, die interne OpenAI-Modelle bereits lösen konnten; das könne die Ergebnisse zugunsten anderer Modelle verzerren. Die Goldsätze sollen veröffentlicht werden, während weitere Aufgaben zum Beobachten möglicher Kontamination zurückgehalten werden.

Die Olympiaden-Aufgaben werden anhand kurzer Antworten bewertet. Die offenen Forschungsaufgaben erhalten jeweils ein mehrteiliges Bewertungsraster mit insgesamt zehn Punkten; neben dem Endergebnis zählen auch Zwischenschritte. Ab sieben Punkten gilt eine Antwort als korrekt. Bewertet werden die Antworten durch GPT‑5 anhand der Lösung oder des Rasters. OpenAI begründet dies mit der besseren Skalierbarkeit gegenüber einer menschlichen Bewertung und beschreibt zusätzliche Prüfungen zur Kalibrierung der Aufgaben und Raster.

In den ersten Vergleichen erzielte GPT‑5.2 laut Bericht 77 Prozent bei Olympiad und 25 Prozent bei Research und lag damit jeweils vor den übrigen getesteten Modellen. Gemini 3 Pro erreichte bei Olympiad 76 Prozent. Die Auswertung umfasst außerdem Claude Opus 4.5, GPT‑4o, o4-mini und o3; die Modelle wurden überwiegend mit hoher, GPT‑5.2 mit besonders hoher Denkintensität bewertet. OpenAI berichtet von deutlichen Fortschritten, aber auch von Fehlern bei Logik, Berechnungen und Fachwissen. Besonders bei offenen Forschungsaufgaben bleibe viel Verbesserungsspielraum.

OpenAI betont, FrontierScience bilde wissenschaftliche Praxis nur teilweise ab: Die Aufgaben sind klar vorgegeben, und offene Forschungsantworten lassen sich weniger objektiv bewerten als eindeutige Kurzantworten. Der Benchmark prüft weder umfassend die Entwicklung wirklich neuartiger Hypothesen noch den Umgang mit mehreren Modalitäten oder realen Experimenten. Für tatsächliche Wissenschaft seien neue Entdeckungen entscheidend; FrontierScience sei lediglich ein Messinstrument für ausgewählte Fähigkeiten. OpenAI kündigt an, den Benchmark weiterzuentwickeln, auf weitere Fachgebiete auszudehnen und mit realitätsnäheren Evaluationen zu ergänzen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen von Luna wurden gemeinsam bewertet, da das Schema nur ein Urteil vorsieht. Die Zahlen stimmen mit dem Bericht überein; eine Formulierung in der mittleren Fassung („begünstigt benachteiligen“) ist widersprüchlich. Die Einordnung stützt sich nur auf den Berichtstext; die Stufen Lunas wurden nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Gold-Sets (100 Olympiad- und 60 Research-Aufgaben) werden veröffentlicht, die übrigen Aufgaben zur Kontaminationskontrolle zurückgehalten.
  • Als korrekt gilt eine Research-Antwort erst mit mindestens 7 von 10 Rubrikpunkten.
  • Der Vergleich mit GPQA: GPT-4 erreichte 2023 39 %, GPT-5.2 zwei Jahre später 92 %.
  • Die Aufgaben wurden von Olympiade-Medaillengewinnern bzw. promovierten Fachleuten erstellt; die Kurzfassung nennt die Verzerrung zugunsten bzw. zulasten interner OpenAI-Modelle nicht.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

  2. SF-F3 Welche Regeln gelten für gefährliche Fähigkeiten jenseits von Cyber, etwa in Biologie, Chemie, bei radioaktiven Stoffen oder in der Nukleartechnik?
    • clef 100 %kein Bezug
    • Luna 40 %Hintergrund, keine Belege
    • JEV 30 %gleiches Oberthema, hilft nicht
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 65 %einzelne zitierbare Belege
    • JEV 48 %einzelne zitierbare Belege
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 47 %einzelne zitierbare Belege
    • JEV 39 %umfangreiche Belege
    • amos 31 %Hintergrund, keine Belege
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 23 %gleiches Oberthema, hilft nicht
    • d3-ultra 29 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 56 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 33 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 43 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 59 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 29 %Hintergrund, keine Belege
    • JEV 24 %nur am Rande erwähnt
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →