BrowseComp: a benchmark for browsing agents
Zusammenfassung
Kurz
BrowseComp ist ein Benchmark mit 1.266 schwierigen Recherchefragen, deren kurze Antworten leicht überprüfbar sein sollen. Trainer lösten in einer Stichprobe 29,2 Prozent der Aufgaben; Deep Research erzielte 51,5 Prozent Genauigkeit, wobei es gezielt für BrowseComp trainiert wurde. Der Bericht betont, dass der Benchmark offene Alltagsanfragen nur begrenzt abbildet und gute Ergebnisse nicht automatisch auf alle Rechercheaufgaben übertragbar sind.
Mittel
Der Bericht beschreibt BrowseComp, einen OpenAI-Benchmark mit 1.266 Fragen zu schwer auffindbaren Informationen, die sich über mehrere Hinweise und Quellen erschließen. Die Antworten sind kurz und eindeutig, damit sie leicht bewertet werden können. Die Autoren weisen darauf hin, dass dies die Übertragbarkeit auf offene und mehrdeutige Alltagsanfragen einschränkt. Trainer prüften die Schwierigkeit unter anderem mit Modelltests, einfachen Suchanfragen und zeitlich begrenzten Lösungsversuchen; diese Prüfregeln wurden teilweise nicht strikt durchgesetzt.
In einer Prüfung mit 1.255 Aufgaben lösten Trainer ohne KI 29,2 Prozent; bei diesen Lösungen stimmten 86,4 Prozent mit der Referenz überein. GPT‑4o erreichte 0,6 Prozent Genauigkeit, mit Browsing 1,9 Prozent, GPT‑4.5 0,9 Prozent und o1 9,9 Prozent. Deep Research kam auf 51,5 Prozent, wurde laut Bericht aber gezielt für solche Aufgaben trainiert. Mehr Rechenaufwand und das Auswählen aus 64 Versuchen verbesserten die Ergebnisse. Die Autoren sehen den Benchmark als hilfreiches, aber unvollständiges Maß für beharrliche und strategische Recherche; gute Werte garantieren keine entsprechende Leistung bei allen realen Suchaufgaben.
Ausführlich lesen
Der Bericht stellt BrowseComp („Browsing Competition“) vor, einen von OpenAI veröffentlichten Benchmark mit 1.266 Aufgaben. Er soll messen, wie gut KI-Agenten schwer auffindbare, über mehrere Hinweise und Quellen verstreute Informationen im Internet finden. Anders als Benchmarks für einfache Einzelfakten setzt BrowseComp laut Bericht auf Fragen mit einer kurzen, grundsätzlich eindeutigen Antwort. Die Aufgaben sollen schwer zu lösen, aber leicht zu überprüfen sein. Die Autoren sehen darin einen praktischen Vorteil für die Bewertung, räumen jedoch ein, dass die Ergebnisse deshalb nur eingeschränkt auf offene, mehrdeutige oder ausführliche Alltagsanfragen übertragbar sind.
Zur Erstellung baten sie menschliche Trainer, belegbare Fragen zu formulieren, deren Antworten sich nicht mit der Zeit ändern. Die Schwierigkeit wurde auf drei Arten geprüft: Trainer sollten kontrollieren, ob mehrere damalige Modelle die Aufgabe lösen konnten, ob fünf einfache Suchanfragen die Antwort auf den ersten Ergebnisseiten lieferten und ob eine andere Person die Frage in zehn Minuten beantworten konnte. Letzteres wurde nicht strikt durchgesetzt; bei einem Teil der Aufgaben gab es Zweitversuche. Aufgaben, die dabei zu häufig gelöst wurden, sollten überarbeitet werden. Als Gestaltungsprinzip beschreibt der Bericht „umgekehrte“ Fragen: Ausgehend von einer bekannten Person, einem Ereignis oder einem Werk werden mehrere Merkmale kombiniert, sodass die Antwort mit wenigen Rechercheschritten prüfbar, durch bloßes Durchsuchen aber schwer zu finden ist.
In einer Prüfung mit 1.255 Aufgaben lösten Trainer ohne KI-Unterstützung 367 Fälle (29,2 Prozent); 888 (70,8 Prozent) stuften sie nach bis zu zwei Stunden Recherche als unlösbar ein. Bei 317 der 367 gelösten Aufgaben stimmte die Antwort mit der Referenz überein (86,4 Prozent). Diese Angaben beschreiben die Prüfung durch die beteiligten Trainer, nicht eine allgemeine menschliche Erfolgsquote.
Bei den Modelltests erzielten laut Bericht GPT‑4o 0,6 Prozent, GPT‑4o mit Browsing 1,9 Prozent, GPT‑4.5 0,9 Prozent und OpenAI o1 ohne Browsing 9,9 Prozent. Deep Research erreichte 51,5 Prozent. Die Autoren betonen, dass dieses Modell gezielt mit Daten für BrowseComp-Aufgaben trainiert wurde. Sie deuten die Ergebnisse so, dass Webzugriff allein nicht genügt und sowohl strategisches Schlussfolgern als auch Recherchewerkzeuge beitragen. Mehr Rechenaufwand während der Bearbeitung verbesserte die Leistung in den dargestellten Durchläufen. Auch die Kombination von 64 Antwortversuchen per Mehrheitswahl, gewichteter Wahl oder Auswahl des selbstbewusstesten Versuchs steigerte die Leistung laut Bericht um 15 bis 25 Prozent gegenüber einem einzelnen Versuch; Best-of-N schnitt dabei am besten ab.
Die Ergebnisse zeigen außerdem unterschiedliche Aufgabenschwierigkeiten: Deep Research löste bei 16 Prozent der Aufgaben alle 64 Versuche korrekt und bei 14 Prozent keinen. Bei Aufgaben ohne korrekten Versuch konnte das Modell nach Vorgabe der richtigen Antwort meist Belege finden. Die Autoren schließen daraus, dass häufig die eigenständige Suche und das Zusammenführen verstreuter Hinweise die Hürde darstellen. Sie bezeichnen BrowseComp als nützlichen, aber unvollständigen Benchmark: Gute Ergebnisse belegen nicht automatisch gute Leistung bei allen realen Rechercheaufgaben. Der Bericht lädt zur Nutzung und Rückmeldung ein und bittet zugleich darum, konkrete Benchmark-Beispiele nicht online offenzulegen, um Datenlecks zu begrenzen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna hat die Stufen zusätzlich mit Anteilen in Prozent angegeben, die im Bewertungsschema nicht vorgesehen sind und daher nicht bewertet wurden. Für die Zusammenfassung wurden beide Fassungen (kurz und mittel) gemeinsam geprüft; die mittlere Fassung ist inhaltlich näher am Bericht.
Im Bericht, aber nicht in der Zusammenfassung
- Die Verteilung der Pass-Rates: Deep Research löste 16 Prozent der Aufgaben vollständig und scheiterte bei 14 Prozent vollständig
- Die Bitte, Beispiele des Datensatzes nicht online zu veröffentlichen, sowie der Canary-String zur Vermeidung von Datenlecks
- Die Aussage, dass Best-of-N am besten abschneidet und das Modell oft erkennt, wann seine Antwort richtig ist
- Die Schwelle, ab der Trainer Aufgaben überarbeiten mussten (mehr als 40 Prozent Lösungsquote)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 29 %gleiches Oberthema, hilft nicht
- SubQ 41 %gleiches Oberthema, hilft nicht
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 33 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 57 %umfangreiche Belege
- amos 30 %Hintergrund, keine Belege
- SubQ 39 %gleiches Oberthema, hilft nicht
- drex 26 %gleiches Oberthema, hilft nicht
- d3-ultra 45 %gleiches Oberthema, hilft nicht
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 57 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 71 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 35 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 42 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 76 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 51 %Hintergrund, keine Belege
- JEV 29 %einzelne zitierbare Belege
- amos 34 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 51 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 46 %Hintergrund, keine Belege
- JEV 25 %Hintergrund, keine Belege
- amos 27 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 57 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 21 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 31 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 39 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 44 %gleiches Oberthema, hilft nicht
- JEV 27 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv