Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai2. April 2025 · Q007798

PaperBench: Evaluating AI’s Ability to Replicate AI Research

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der bereitgestellte Text ist nur eine Kurzbeschreibung: PaperBench soll messen, wie gut KI-Agenten 20 ausgezeichnete ICML-2024-Arbeiten nachbilden, und bewertet die Aufgaben anhand von 8.316 Teilkriterien. Laut Bericht erreichte der beste getestete Agent im Mittel 21,0 Prozent; die Modelle übertrafen in einem Teilversuch mit ML-Doktorandinnen und -Doktoranden die menschliche Vergleichsleistung nicht.

Mittel

Der bereitgestellte Text enthält nur eine Kurzbeschreibung des Berichts und die Autorennamen. Darin wird PaperBench als Benchmark vorgestellt, der die Fähigkeit von KI-Agenten zur Reproduktion aktueller KI-Forschung messen soll. Die Agenten sollen 20 bei ICML 2024 ausgezeichnete Arbeiten von Grund auf nachbilden: Beiträge verstehen, Code entwickeln und Experimente ausführen. Für die Bewertung wurden die Aufgaben laut Text in 8.316 kleinere, klar bewertbare Teilaufgaben gegliedert. Die Rubriken seien mit Autorinnen und Autoren der Arbeiten entwickelt worden. Ein Sprachmodell-basierter Bewerter soll Replikationen anhand dieser Kriterien automatisch bewerten; seine Leistung sei separat geprüft worden.

Bei mehreren getesteten führenden Modellen habe Claude 3.5 Sonnet (New) mit quelloffener Softwareumgebung mit durchschnittlich 21,0 Prozent am besten abgeschnitten. In einem Versuch mit führenden ML-Doktorandinnen und -Doktoranden hätten die Modelle die menschliche Vergleichsleistung nicht übertroffen. Die Verfassenden stellen den Code für weitere Forschung quelloffen bereit. Der Auszug enthält keine näheren Angaben zu Versuchsdetails, Ergebnisschwankungen oder der Genauigkeit des Bewerters; die umfassende Bewertung der Resultate ist damit nicht möglich.

Ausführlich lesen

Der bereitgestellte Text enthält nur eine Kurzbeschreibung des Berichts und die Autorennamen, keinen vollständigen Artikel. Er stellt PaperBench als Benchmark vor, mit dem untersucht werden soll, wie gut KI-Agenten aktuelle KI-Forschung eigenständig nachbilden können. Dafür sollen die Agenten 20 Forschungsarbeiten replizieren, die 2024 bei ICML als Spotlight- oder Oral-Beiträge ausgezeichnet wurden. Die Aufgaben umfassen laut Beschreibung, die Beiträge der Arbeiten zu verstehen, eine Codebasis zu entwickeln und Experimente erfolgreich auszuführen.

Für die Bewertung zerlegen die Forschenden jede Replikationsaufgabe in kleinere, einzeln bewertbare Teilaufgaben mit klaren Kriterien. Insgesamt umfasse PaperBench 8.316 solcher Aufgaben. Die Bewertungsrubriken seien gemeinsam mit Autorinnen und Autoren der jeweiligen ICML-Arbeiten entwickelt worden, um ihre Genauigkeit und Praxisnähe zu verbessern. Zusätzlich beschreiben die Verfassenden ein auf einem Sprachmodell beruhendes Bewertungssystem, das Replikationsversuche anhand dieser Rubriken automatisch beurteilen soll. Dessen Leistung sei mit einem separaten Benchmark für Bewertungsmodelle geprüft worden.

Bei der Auswertung mehrerer führender Modelle habe der bestplatzierte getestete Agent – Claude 3.5 Sonnet (New) mit quelloffener Softwareumgebung – im Durchschnitt 21,0 Prozent erreicht. Außerdem hätten die Forschenden führende Doktorandinnen und Doktoranden im maschinellen Lernen gebeten, einen Teil von PaperBench zu bearbeiten. Nach ihrer Darstellung übertrafen die Modelle dabei die menschliche Vergleichsleistung nicht.

Als Zweck der Veröffentlichung nennen die Verfassenden, künftige Forschung zu den technischen Fähigkeiten von KI-Agenten zu unterstützen; den Code hätten sie quelloffen bereitgestellt. Der vorliegende Text liefert jedoch keine Einzelheiten zur Durchführung und Zusammensetzung der Menschengruppe, zur Streuung der Modellwerte, zu den Bewertungsfehlern oder zu den Ergebnissen des separaten Prüftests für den automatischen Bewerter. Daher lassen sich aus diesem Auszug weder die vollständigen Benchmark-Resultate noch die genaue Aussagekraft der Vergleiche ableiten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 100 %kein Bezug
    • Luna 23 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 4 · 33 % · einzelne zitierbare Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 22 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 24 %einzelne zitierbare Belege
    • amos 29 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %einzelne zitierbare Belege
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 42 %einzelne zitierbare Belege
    • JEV 48 %umfangreiche Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 26 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 30 %einzelne zitierbare Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 26 %einzelne zitierbare Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 25 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 59 %einzelne zitierbare Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Agenten und vernetzte Systeme
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 28 %einzelne zitierbare Belege
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →