Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch23. Dezember 2025 · Q006907

Why benchmarking is hard

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Beitrag beschreibt, wie Prompts, Agenten-Scaffolds, Umgebungen, Bewertungsverfahren sowie APIs und Anbieter die Ergebnisse von KI-Benchmarks verändern können. Eigene Tests zeigen laut den Autoren Anbieterunterschiede, sind aber unter anderem durch nur vier Läufe pro Modell und Benchmark begrenzt.

Mittel

Der Beitrag erklärt, warum KI-Benchmarkwerte trotz gleicher Benchmarkbezeichnung oft schwer vergleichbar sind. Die Autoren verfolgen zwei Bereiche: die Einrichtung des Benchmarks und den Zugang zum Modell. Schon bei GPQA-Diamond variieren Prompts und Sampling-Parameter; bei gpt-oss lagen die Mittelwerte in ihrem Versuch zwischen 74 und 80 Prozent, ohne statistisch signifikante Unterschiede bei nur 198 Fragen. Bei agentischen Tests kann laut Beitrag der Scaffold aus Software, Werkzeugen und Prompts besonders viel ausmachen: Sein Wechsel veränderte Ergebnisse bei SWE-bench Verified um bis zu 11 Prozentpunkte für GPT-5 und 15 für Kimi K2 Thinking.

Hinzu kommen Fehler in Ausführungsumgebungen und Bewertungsverfahren sowie Unterschiede durch APIs, Anbieter und Modellbereitstellung. In eigenen Tests fanden die Autoren je nach Anbieter abweichende Ergebnisse und Probleme wie Ratenbegrenzungen, abgeschnittene Antworten oder zu niedrige Tokenlimits. Diese Tests mittelten aus Kostengründen nur vier Läufe; API-Fehler zählten als Fehlschläge. Die Autoren folgern, dass sich viele kleine Unterschiede entlang der Auswertungskette summieren und Ergebnisse deutlich verschieben können. Das erschwert Reproduzierbarkeit und unabhängige Vergleiche, besonders für Forschende mit geringeren Ressourcen.

Ausführlich lesen

Der Beitrag „Why benchmarking is hard“ erläutert, warum KI-Benchmarkwerte trotz gleicher Benchmarknamen oft nur eingeschränkt vergleichbar sind. Die Autoren betonen, dass viele Entscheidungen und mögliche Fehler entlang der gesamten Auswertungskette das Ergebnis beeinflussen. Der Beitrag gibt die Einschätzungen seiner Autoren wieder und stellt ausdrücklich klar, dass sie nicht unbedingt die Position von Epoch AI insgesamt darstellen.

Als Beispiel für die Einrichtung eines Benchmarks dient GPQA-Diamond. Obwohl Fragen und Antwortoptionen feststehen, unterscheiden sich Implementierungen etwa in Prompt, Systemnachricht und Sampling-Parametern. In einem eigenen Versuch mit gpt-oss lagen die Durchschnittswerte je nach Einstellung zwischen 74 und 80 Prozent; angesichts der 198 Fragen seien die Unterschiede jedoch statistisch nicht signifikant gewesen. Auch bei gleicher Implementierung beobachte man Schwankungen in dieser Größenordnung. Für komplexe, agentische Tests wie SWE-bench Verified komme der sogenannte Scaffold hinzu: die Software, Prompts und Werkzeuge, über die ein Agent arbeitet. Laut Beitrag kann ein Wechsel des Scaffolds bei GPT-5 bis zu 11 und bei Kimi K2 Thinking bis zu 15 Prozentpunkte ausmachen. Ein einheitliches Scaffold erleichtere Modellvergleiche, während führende Produkte eher zur Einschätzung praktischer Spitzenfähigkeiten dienten; beide Ansätze hätten Nachteile, insbesondere bei Reproduzierbarkeit und Aufwand.

Auch die Ausführungsumgebung und die Bewertungsmethode können Ergebnisse verzerren. Fehlerhafte oder schwer zu wartende Umgebungen können Aufgaben unmöglich machen oder Manipulationen erlauben. Der Beitrag nennt als Beispiel, dass OpenAI wegen Infrastrukturproblemen nur 477 von 500 SWE-bench-Verified-Aufgaben auswertete. Je nach Benchmark werden Antworten per Mustererkennung, Testprogramm oder durch ein zweites Sprachmodell bewertet; die Wahl dieses zweiten Modells kann laut angeführter Forschung erheblichen Einfluss haben.

Ein weiterer Schwerpunkt ist der Modellzugang. API, SDK, Aggregator und Anbieter können beeinflussen, welche Funktionen und Sampling-Parameter verfügbar sind und wie gut ein Modell abschneidet. Die Autoren berichten, OpenAI habe bei SWE-bench Verified mit seiner Responses API gegenüber einem gleichen Prompt und Setup eine Verbesserung von bis zu drei Prozentpunkten angegeben; für Minimax werde bei tau-bench ein Unterschied von 23 Prozentpunkten zwischen eigener API-Implementierung und Standard-ChatCompletions berichtet. Aggregationsdienste vereinfachten den Zugriff, könnten aber zusätzliche Fehler einführen.

In eigenen Versuchen mit mehreren offenen Modellen auf GPQA-Diamond, jeweils über vier Läufe gemittelt, fanden die Autoren abhängig vom Anbieter unterschiedliche Werte. Zu den beobachteten Problemen zählten Ratenbegrenzungen, leere oder abgeschnittene Antworten, niedrigere als angekündigte Tokenlimits, Zeitüberschreitungen und fehlerhafte Einstellungen für den Denkaufwand. Vier Läufe seien aus Kostengründen gewählt worden, obwohl Benchmarks üblicherweise acht bis 32 Läufe mittelten. API-Fehler wurden in dieser Untersuchung als Fehlversuche gewertet; bei offiziellen Epoch-Hub-Ergebnissen werde dagegen vor der Veröffentlichung grundsätzlich sichergestellt, dass keine Fehler verbleiben, abgesehen von Sonderfällen. Die Autoren sehen außerdem bei neueren Modellen häufiger Anbieterprobleme. Unterschiede könnten auch aus Inferenzsoftware, veralteten Chatvorlagen, Hardware oder der Verteilung auf GPUs entstehen.

Fazit der Autoren: Einzelne Abweichungen mögen klein sein, können sich über den gesamten Ablauf aber summieren und veröffentlichte Werte deutlich verändern. Das erschwert unabhängige Prüfungen und belastet besonders Forschende und Hobbyisten mit geringeren Ressourcen. Die eigenen Anbieterexperimente sind durch die geringe Zahl von vier Läufen und die konkret getesteten Modelle, Benchmarks und Anbieter begrenzt; die Autoren verweisen auf zusätzliche Ergebnisse und veröffentlichte Analysedaten im Anhang.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurde vor allem die mittlere Zusammenfassung; die kurze ist ebenfalls treu, lässt aber mehr weg. Die Einordnung stützt sich nur auf den Bericht. Die Teilfragen zu Cyberfähigkeiten, staatlichen Messungen und Prüfungen fremder Modelle sind im Bericht nicht direkt behandelt.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Anbieter bzw. die Modellbereitstellung gilt im Beitrag als größter Einflussfaktor auf Benchmark-Ergebnisse
  • Die Ausführungsumgebung hat laut Beitrag im Vergleich zum Scaffold meist nur geringen Einfluss
  • Die Empfehlung, für Modellvergleiche einen standardisierten Scaffold zu nutzen, für Grenzfähigkeiten dagegen Produkte wie Claude Code

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 63 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 27 %Hintergrund, keine Belege
    • Luna 53 %Hintergrund, keine Belege
    • JEV 45 %Hintergrund, keine Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 28 %Hintergrund, keine Belege
    • drex 28 %Hintergrund, keine Belege
    • d3-ultra 46 %Hintergrund, keine Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
    • SF-F1-T10 Was wäre nötig, damit eine staatliche Aufsichtsplattform für KI-Sicherheit und unabhängige Prüfer mit dauerhaftem Zugang im Labor nach einem gemeinsamen öffentlichen Protokoll dieselben Cyber-Tests in einer gemeinsamen Testumgebung durchführen, die Prüfer zweier Staaten jeweils am Modell des anderen, und die Ergebnisse in beiden veröffentlichen? Und könnten zwei Staaten eine gemeinsam bezeugte Prüfung desselben führenden KI-Modells durchführen und übereinstimmende Prüfsummen (Hashes) der Ergebnisse veröffentlichen? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
    • SF-F1-T11 Werden Ministerien eine Behauptung über Fähigkeiten nur anerkennen, wenn ein anderer Staat denselben Test wiederholen kann, und können sie sich auf unabhängige Prüfer und einen sicheren Zugang einigen, um strittige Befunde nachzustellen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 28 %einzelne zitierbare Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 37 %gleiches Oberthema, hilft nicht
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-F2-T02 Wenn ein Staat fremde Modelle als Zeichen einer neuen Stufe nennt: Beruht das auf eigenen Messungen, die er so veröffentlichen könnte wie andere ihre Messungen? Und haben Labore vergleichbare Prüfungen fremder Modelle durchgeführt und sich entschieden, sie nicht zu veröffentlichen? Gefragt wurde das zu Minister Chen Yixins Nennung von Claude Mythos und GPT-5.5-Cyber als Zeichen der Phase „KI gegen KI“ bei Cyberangriff und -abwehr, nachdem die US-Prüfstelle CAISI Messungen von GLM-5.3 (17. September 2026) und, mit dem britischen AI Security Institute, von Kimi K3 (Juli 2026) veröffentlicht hatte, und zu Prüfungen von OpenAI und Anthropic an Modellen von DeepSeek, GLM, Qwen oder Kimi. Luna: Stufe 3 · 52 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 70 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

    • SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen? Luna: Stufe 3 · 44 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 4 · einzelne zitierbare Belege
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 30 %Hintergrund, keine Belege
    • Luna 40 %Hintergrund, keine Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 28 %Hintergrund, keine Belege
    • Luna 68 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 30 %nur am Rande erwähnt
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 22 %Hintergrund, keine Belege
    • Luna 76 %einzelne zitierbare Belege
    • JEV 41 %einzelne zitierbare Belege
    • amos 30 %einzelne zitierbare Belege
    • SubQ 29 %Hintergrund, keine Belege
    • drex 27 %einzelne zitierbare Belege
    • d3-ultra 50 %Hintergrund, keine Belege
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
    • SF-P3-T05 Welches Mindestpaket (Datenverzeichnisse, Code, Zufallsstartwerte, Abbilder der Rechenumgebung, Prüferversionen, Fehlerprotokolle und Annahmen über die Hardware) muss ein Labor sichern oder kontrolliert hinterlegen, damit ein Prüfer ein sicherheitskritisches Trainings- oder Prüfergebnis auch nach Ende seines Zugangs nachrechnen kann, und welche Geheimnisse bleiben unzugänglich? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
    • SF-P3-T09 Was geschieht, wenn sich ein gemeinsames Prüfverfahren oder die Befunde eines Prüfers später als unzuverlässig erweisen: Wie findet man jede Einsatzfreigabe, die wesentlich darauf beruhte, prüft sie erneut, und welche vorläufigen Betriebsbedingungen gelten, bevor modellbezogene Vorfälle auftreten? Luna: Stufe 3 · 29 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 68 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 67 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-T2-T01 Welche öffentliche, nachprüfbare Handlung würde als Verzicht auf weitere Skalierung zählen, nicht nur eine Ankündigung? Was müsste ein Labor veröffentlichen, damit eine rivalisierende Regierung bestätigen kann, dass wirklich pausiert wurde, und welche nachträglichen Belege würden zeigen, dass keine Fähigkeitszuwächse zurückgehalten wurden, etwa durch nicht offengelegte Änderungen an Rechenleistung beim Einsatz oder Werkzeugzugang oder durch einen nicht offengelegten Austausch von Modellen? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 22 %gleiches Oberthema, hilft nicht
    • Luna 49 %Hintergrund, keine Belege
    • JEV 32 %umfangreiche Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 48 %Hintergrund, keine Belege
    • JEV 31 %nur am Rande erwähnt
    • amos 32 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht
  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 28 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht

Beteiligung und Gemeinwohl
  1. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 80 %Hintergrund, keine Belege
    • JEV 29 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →