Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai10. April 2025 · Q005451

BrowseComp: a benchmark for browsing agents

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

BrowseComp ist ein Benchmark mit 1.266 schwierigen Recherchefragen, deren kurze Antworten leicht überprüfbar sein sollen. Trainer lösten in einer Stichprobe 29,2 Prozent der Aufgaben; Deep Research erzielte 51,5 Prozent Genauigkeit, wobei es gezielt für BrowseComp trainiert wurde. Der Bericht betont, dass der Benchmark offene Alltagsanfragen nur begrenzt abbildet und gute Ergebnisse nicht automatisch auf alle Rechercheaufgaben übertragbar sind.

Mittel

Der Bericht beschreibt BrowseComp, einen OpenAI-Benchmark mit 1.266 Fragen zu schwer auffindbaren Informationen, die sich über mehrere Hinweise und Quellen erschließen. Die Antworten sind kurz und eindeutig, damit sie leicht bewertet werden können. Die Autoren weisen darauf hin, dass dies die Übertragbarkeit auf offene und mehrdeutige Alltagsanfragen einschränkt. Trainer prüften die Schwierigkeit unter anderem mit Modelltests, einfachen Suchanfragen und zeitlich begrenzten Lösungsversuchen; diese Prüfregeln wurden teilweise nicht strikt durchgesetzt.

In einer Prüfung mit 1.255 Aufgaben lösten Trainer ohne KI 29,2 Prozent; bei diesen Lösungen stimmten 86,4 Prozent mit der Referenz überein. GPT‑4o erreichte 0,6 Prozent Genauigkeit, mit Browsing 1,9 Prozent, GPT‑4.5 0,9 Prozent und o1 9,9 Prozent. Deep Research kam auf 51,5 Prozent, wurde laut Bericht aber gezielt für solche Aufgaben trainiert. Mehr Rechenaufwand und das Auswählen aus 64 Versuchen verbesserten die Ergebnisse. Die Autoren sehen den Benchmark als hilfreiches, aber unvollständiges Maß für beharrliche und strategische Recherche; gute Werte garantieren keine entsprechende Leistung bei allen realen Suchaufgaben.

Ausführlich lesen

Der Bericht stellt BrowseComp („Browsing Competition“) vor, einen von OpenAI veröffentlichten Benchmark mit 1.266 Aufgaben. Er soll messen, wie gut KI-Agenten schwer auffindbare, über mehrere Hinweise und Quellen verstreute Informationen im Internet finden. Anders als Benchmarks für einfache Einzelfakten setzt BrowseComp laut Bericht auf Fragen mit einer kurzen, grundsätzlich eindeutigen Antwort. Die Aufgaben sollen schwer zu lösen, aber leicht zu überprüfen sein. Die Autoren sehen darin einen praktischen Vorteil für die Bewertung, räumen jedoch ein, dass die Ergebnisse deshalb nur eingeschränkt auf offene, mehrdeutige oder ausführliche Alltagsanfragen übertragbar sind.

Zur Erstellung baten sie menschliche Trainer, belegbare Fragen zu formulieren, deren Antworten sich nicht mit der Zeit ändern. Die Schwierigkeit wurde auf drei Arten geprüft: Trainer sollten kontrollieren, ob mehrere damalige Modelle die Aufgabe lösen konnten, ob fünf einfache Suchanfragen die Antwort auf den ersten Ergebnisseiten lieferten und ob eine andere Person die Frage in zehn Minuten beantworten konnte. Letzteres wurde nicht strikt durchgesetzt; bei einem Teil der Aufgaben gab es Zweitversuche. Aufgaben, die dabei zu häufig gelöst wurden, sollten überarbeitet werden. Als Gestaltungsprinzip beschreibt der Bericht „umgekehrte“ Fragen: Ausgehend von einer bekannten Person, einem Ereignis oder einem Werk werden mehrere Merkmale kombiniert, sodass die Antwort mit wenigen Rechercheschritten prüfbar, durch bloßes Durchsuchen aber schwer zu finden ist.

In einer Prüfung mit 1.255 Aufgaben lösten Trainer ohne KI-Unterstützung 367 Fälle (29,2 Prozent); 888 (70,8 Prozent) stuften sie nach bis zu zwei Stunden Recherche als unlösbar ein. Bei 317 der 367 gelösten Aufgaben stimmte die Antwort mit der Referenz überein (86,4 Prozent). Diese Angaben beschreiben die Prüfung durch die beteiligten Trainer, nicht eine allgemeine menschliche Erfolgsquote.

Bei den Modelltests erzielten laut Bericht GPT‑4o 0,6 Prozent, GPT‑4o mit Browsing 1,9 Prozent, GPT‑4.5 0,9 Prozent und OpenAI o1 ohne Browsing 9,9 Prozent. Deep Research erreichte 51,5 Prozent. Die Autoren betonen, dass dieses Modell gezielt mit Daten für BrowseComp-Aufgaben trainiert wurde. Sie deuten die Ergebnisse so, dass Webzugriff allein nicht genügt und sowohl strategisches Schlussfolgern als auch Recherchewerkzeuge beitragen. Mehr Rechenaufwand während der Bearbeitung verbesserte die Leistung in den dargestellten Durchläufen. Auch die Kombination von 64 Antwortversuchen per Mehrheitswahl, gewichteter Wahl oder Auswahl des selbstbewusstesten Versuchs steigerte die Leistung laut Bericht um 15 bis 25 Prozent gegenüber einem einzelnen Versuch; Best-of-N schnitt dabei am besten ab.

Die Ergebnisse zeigen außerdem unterschiedliche Aufgabenschwierigkeiten: Deep Research löste bei 16 Prozent der Aufgaben alle 64 Versuche korrekt und bei 14 Prozent keinen. Bei Aufgaben ohne korrekten Versuch konnte das Modell nach Vorgabe der richtigen Antwort meist Belege finden. Die Autoren schließen daraus, dass häufig die eigenständige Suche und das Zusammenführen verstreuter Hinweise die Hürde darstellen. Sie bezeichnen BrowseComp als nützlichen, aber unvollständigen Benchmark: Gute Ergebnisse belegen nicht automatisch gute Leistung bei allen realen Rechercheaufgaben. Der Bericht lädt zur Nutzung und Rückmeldung ein und bittet zugleich darum, konkrete Benchmark-Beispiele nicht online offenzulegen, um Datenlecks zu begrenzen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna hat die Stufen zusätzlich mit Anteilen in Prozent angegeben, die im Bewertungsschema nicht vorgesehen sind und daher nicht bewertet wurden. Für die Zusammenfassung wurden beide Fassungen (kurz und mittel) gemeinsam geprüft; die mittlere Fassung ist inhaltlich näher am Bericht.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Verteilung der Pass-Rates: Deep Research löste 16 Prozent der Aufgaben vollständig und scheiterte bei 14 Prozent vollständig
  • Die Bitte, Beispiele des Datensatzes nicht online zu veröffentlichen, sowie der Canary-String zur Vermeidung von Datenlecks
  • Die Aussage, dass Best-of-N am besten abschneidet und das Modell oft erkennt, wann seine Antwort richtig ist
  • Die Schwelle, ab der Trainer Aufgaben überarbeiten mussten (mehr als 40 Prozent Lösungsquote)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 57 %umfangreiche Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 51 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 25 %Hintergrund, keine Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 21 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 39 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 56 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 44 %gleiches Oberthema, hilft nicht
    • JEV 27 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →