Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
apolloohne Datum · Q001175

Forecasting Frontier Language Model Agent Capabilities

apolloresearch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht vergleicht sechs Prognoseverfahren und schätzt für Januar 2026 unter anderem 54 bis 87 Prozent auf SWE-Bench Verified sowie 55 bis 66 Prozent auf Cybench, abhängig von der Optimierung der Agenten. Die Autorinnen und Autoren betonen die Unsicherheit durch wenige Frontier-Modelle, begrenzte Agentenoptimierung, kaum berücksichtigte Inferenz-Rechenzeit und die enge Auswahl an Benchmarks.

Mittel

Der Bericht stellt sechs Verfahren zur Vorhersage der Fähigkeiten führender Sprachmodell-Agenten vor. Zwei schätzen Benchmark-Ergebnisse direkt aus Trainingsrechenaufwand oder Veröffentlichungsdatum; vier sagen zunächst PC-1 oder Chatbot-Arena-Elo voraus und leiten daraus Benchmark-Leistung ab. Rücktests mit 38 Modellen auf sechs Benchmarks führten die Forschenden dazu, für ihre Hauptprognosen Veröffentlichungsdatum → Elo → Benchmark zu verwenden.

Für Januar 2026 prognostiziert der Bericht auf SWE-Bench Verified 54 Prozent Erfolg bei einfacher und 87 Prozent bei optimierter Agentenausstattung. Auf Cybench werden 55 beziehungsweise 66 Prozent erwartet. Für RE-Bench beträgt die Prognose bei einfacher Ausstattung 0,73; eine Hoch-Elicitation-Schätzung fehlt. Die Zeitprognosen für hohe Benchmarkwerte enthalten teils breite Unsicherheitsintervalle: Für den Expertenwert 1,0 auf RE-Bench etwa reicht das 95-Prozent-Intervall von August 2025 bis Mai 2033.

Die Autorinnen und Autoren nennen als Grenzen die kleine Zahl führender Modelle, begrenzte Optimierung der Agenten und die geringe Berücksichtigung zusätzlicher Inferenz-Rechenzeit. Sie halten ihre Schätzungen deshalb möglicherweise für zu konservativ. Außerdem bilden die drei Benchmarks nur ausgewählte Bereiche ab. Die Zahlen sind somit unsichere Prognosen, keine gesicherten Leistungsangaben.

Ausführlich lesen

Der Bericht beschreibt einen Ansatz, um die Fähigkeiten der leistungsstärksten Sprachmodell-Agenten zu einem bestimmten Zeitpunkt vorherzusagen. Solche Agenten verbinden Sprachmodelle mit Software, die ihnen mehrstufige Aufgaben und Werkzeugaufrufe ermöglicht. Die Autorinnen und Autoren halten Prognosen für wichtig, um mögliche gesellschaftliche und wirtschaftliche Auswirkungen besser einschätzen zu können. Anders als frühere Arbeiten, die häufig die durchschnittliche Leistung künftiger Modelle schätzen, soll ihre Methode die jeweils erreichbare Spitzenleistung erfassen und möglichst öffentlich verfügbare Angaben nutzen.

Verglichen werden sechs Prognoseverfahren. Zwei schätzen Benchmark-Ergebnisse direkt aus dem Trainingsrechenaufwand (log-FLOP) oder dem Veröffentlichungsdatum. Vier weitere Verfahren sagen zunächst eine Zwischenkennzahl für allgemeine Fähigkeiten voraus: entweder PC-1, die erste Hauptkomponente von Benchmark-Ergebnissen, oder die Elo-Wertung aus menschlichen Modellvergleichen auf Chatbot Arena. Daraus wird anschließend die Leistung auf einem Zielbenchmark abgeleitet. Die Methoden wurden anhand von 38 Modellen und sechs Benchmarks aus dem Open LLM Leaderboard v2 rückwirkend geprüft. Auf Basis dieser Prüfung und der Datenverfügbarkeit wählten die Forschenden für ihre Hauptprognosen die zweistufige Kette Veröffentlichungsdatum → Elo → Benchmark.

Die Prognosen betreffen SWE-Bench Verified für Softwareentwicklung, Cybench für Cybersicherheitsaufgaben und RE-Bench für ML-Forschungsengineering. Für Januar 2026 sagt der Bericht bei SWE-Bench eine Erfolgsrate von 54 Prozent für Agenten mit einfacher Ausstattung und 87 Prozent für stärker optimierte Agenten voraus. Für Cybench lauten die entsprechenden Prognosen 55 und 66 Prozent. Bei RE-Bench wird für einfache Ausstattung ein Wert von 0,73 vorhergesagt; mangels öffentlich berichteter Hoch-Elicitation-Daten gibt es dort keine entsprechende Hoch-Elicitation-Prognose.

Als Zeitpunkte für hohe Leistung nennen die Autorinnen und Autoren unter anderem März 2026 für 90 Prozent auf SWE-Bench bei optimierter Ausstattung (95-Prozent-Intervall: Oktober 2025 bis September 2027) und Januar 2028 bei einfacher Ausstattung. Für Cybench liegen die Prognosen für 90 Prozent bei Dezember 2026 mit optimierter beziehungsweise Juni 2027 mit einfacher Ausstattung; das angegebene 95-Prozent-Intervall für die optimierte Variante reicht von April 2026 bis April 2029. Bei RE-Bench wird der Experten-Baselinewert 1,0 für Dezember 2026 erwartet, doch das 95-Prozent-Intervall erstreckt sich von August 2025 bis Mai 2033.

Der Bericht betont erhebliche Grenzen: Die meisten ausgewerteten Modelle folgen einem Trainingsparadigma, bei dem Vortraining der Haupttreiber ist; Fortschritte durch zusätzliche Inferenz-Rechenzeit werden kaum berücksichtigt. Die Forschenden halten deshalb selbst die optimistischen Schätzungen möglicherweise für zu konservativ. Außerdem sei die Agentenoptimierung begrenzt, die Zahl der Frontier-Modelle klein und damit die Unsicherheit groß. Die untersuchten Benchmarks decken zudem nur einen Teil der Agentenfähigkeiten ab, insbesondere Software, Cybersicherheit und ML-Engineering. Die Ergebnisse sind daher Prognosen auf Basis begrenzter Daten und ausgewählter Aufgaben, keine gesicherten Aussagen über künftige Leistung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Einordnung stützt sich nur auf den Bericht. Keine Frage wird direkt beantwortet, daher wurden die Stufen 6 und 7 nicht vergeben. Die Zusammenfassung ist im Kern treu, lässt aber den Frontier-Fokus und die Zeitprognosen für die 90-Prozent-Schwellen weg.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Fokus auf die Spitzenleistung (Frontier) statt auf die Durchschnittsleistung zukünftiger Modelle, den der Bericht als Hauptbeitrag nennt
  • Die Zeitpunkte für das Erreichen von 90-Prozent-Schwellen (SWE-Bench mit hoher Elicitation etwa März 2026, Cybench etwa Dezember 2026, RE-Bench-Expertenwert etwa Dezember 2026)
  • Die Zahlen für Cybench (55 und 66 Prozent) fehlen in der mittleren Zusammenfassung
  • Die Feststellung, dass Cybench eine geringere Lücke zwischen den Optimierungsstufen zeigt, weil es bisher wenig optimiert wurde

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 23 %nur am Rande erwähnt
    • Luna 77 %einzelne zitierbare Belege
    • JEV offen
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 28 %einzelne zitierbare Belege
    • drex 34 %einzelne zitierbare Belege
    • d3-ultra 33 %Hintergrund, keine Belege
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-F1-T01 Welche Belege zu Cyberfähigkeiten soll ein Labor vor der Freigabe eines Modells veröffentlichen (Methoden, Aufgabenfamilien, Fehlerraten, getestete Version, reproduzierbare Cyber-Tests in abgeschirmter Umgebung für unabhängige Prüfer), damit jedes Ministerium sie nachstellen kann, statt ihnen vertrauen zu müssen? Und führt es für dieselbe Modellversion abgestimmte Cyber-Tests durch, die sowohl den durch Schutzmaßnahmen verhinderten Missbrauch als auch die legitimen Abwehraufgaben messen, die dieselben Schutzmaßnahmen blockieren, und weist es beide Ergebnisse aus? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-F1-T02 Veröffentlichen Labore abgestimmte Cyber-Tests, die zeigen, was jedes Modell mehr leistet als ein Mensch ohne KI-Hilfe? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 33 % · Hintergrund, keine Belege
    • SF-F1-T10 Was wäre nötig, damit eine staatliche Aufsichtsplattform für KI-Sicherheit und unabhängige Prüfer mit dauerhaftem Zugang im Labor nach einem gemeinsamen öffentlichen Protokoll dieselben Cyber-Tests in einer gemeinsamen Testumgebung durchführen, die Prüfer zweier Staaten jeweils am Modell des anderen, und die Ergebnisse in beiden veröffentlichen? Und könnten zwei Staaten eine gemeinsam bezeugte Prüfung desselben führenden KI-Modells durchführen und übereinstimmende Prüfsummen (Hashes) der Ergebnisse veröffentlichen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV offen
    • amos 26 %einzelne zitierbare Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 52 %gleiches Oberthema, hilft nicht
  3. SF-F5 Wie gehen Staaten gemeinsam gegen KI-gestützte Cyberangriffe vor und verhindern Eskalation zwischen autonomen Systemen, ohne die Verteidigung zu behindern?
    • clef 100 %kein Bezug
    • Luna 42 %Hintergrund, keine Belege
    • JEV offen
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 24 %gleiches Oberthema, hilft nicht
    • Luna 47 %einzelne zitierbare Belege
    • JEV offen
    • amos 32 %Hintergrund, keine Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 26 %Hintergrund, keine Belege
    • Luna 53 %Hintergrund, keine Belege
    • JEV offen
    • amos 30 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 24 %Hintergrund, keine Belege
    • d3-ultra 41 %gleiches Oberthema, hilft nicht

    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 41 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 27 %Hintergrund, keine Belege
    • Luna 71 %Hintergrund, keine Belege
    • JEV offen
    • amos 30 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 23 %Hintergrund, keine Belege
    • d3-ultra 36 %gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV offen
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 62 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 26 %Hintergrund, keine Belege
    • Luna 75 %Hintergrund, keine Belege
    • JEV offen
    • amos 27 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 69 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV offen
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV offen
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV offen
    • amos 55 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →