Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com29. Juli 2026 · Q011025

The AGI Test Went From 0.37% to 30.2% in Four Months. It’s Testing the One Skill You Were Told to Fall Back On.

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Laut Bericht stieg der Spitzenwert bei ARC-AGI-3 in vier Monaten von 0,37 auf 30,2 Prozent; der Test prüft, wie KI in unbekannten interaktiven Umgebungen Regeln und Ziele erschließt. Bei langen, unbeaufsichtigten Aufgaben bleibt sie laut den angeführten Benchmarks jedoch deutlich unzuverlässiger, und der Autor warnt, dass der Test weder AGI noch berufliche Leistungsfähigkeit belegt.

Mittel

Der Bericht schildert den schnellen Anstieg der KI-Ergebnisse bei ARC-AGI-3: Laut Autor stieg der Spitzenwert binnen vier Monaten von 0,37 auf 30,2 Prozent. Der Benchmark prüft, ob ein Modell in interaktiven Umgebungen ohne Anleitung Regeln und Ziele erschließt, aus Rückmeldungen lernt und effizient handelt. Menschen erreichten demnach 100 Prozent; der Autor berichtet zudem von konkreten Strategien, die Modelle während einzelner Läufe entwickelten.

Gleichzeitig seien KI-Systeme bei längeren Arbeitsabläufen weiterhin unzuverlässig. Der Text verweist auf METR und weitere Benchmarks, bei denen die Erfolgsraten mit Dauer und Zahl abhängiger Schritte stark sinken. Daraus folgert der Autor, dass KI ungewöhnlich schnell in unbekannten Situationen zurechtkommen könne, aber Ziele über lange, unbeaufsichtigte Aufgaben hinweg schlecht verfolge. Das stelle die Karriereempfehlung infrage, allein auf Mehrdeutigkeit als Schutz vor Automatisierung zu setzen.

Der Autor verbindet dies mit Beschäftigungsdaten und unterschiedlichen Ergebnissen zur KI-Leistung bei Büroarbeit, betont aber die Grenzen der Belege. ARC-AGI-3 zeigt keine allgemeine Arbeitsfähigkeit: 30,2 Prozent bleiben weit unter menschlichen 100 Prozent, ein verifizierter Lauf ist kein Trendbeweis, und Benchmarkwerte sagen den Erfolg am Arbeitsplatz nur begrenzt voraus. Auch eine einheitliche Definition von AGI gebe es nicht.

Ausführlich lesen

Der Bericht beschreibt einen raschen Sprung bei ARC-AGI-3: Laut Autor lag der beste KI-Wert bei der Veröffentlichung am 25. März bei 0,37 Prozent; im Juli erreichte GPT-5.6 Sol demnach 7,8 Prozent und Claude Opus 5 in einem von der ARC Prize Foundation überprüften Lauf 30,2 Prozent. Menschen lösten alle Umgebungen. Der Autor sieht darin einen deutlichen Wandel, betont aber, dass einzelne Benchmarkwerte weder allgemeine Intelligenz noch den Erfolg bei der Arbeit beweisen.

Anders als frühere ARC-Aufgaben präsentiert ARC-AGI-3 interaktive Umgebungen ohne erklärtes Ziel oder bekannte Regeln. Ein Modell muss durch Handlungen und deren Folgen herausfinden, wie die Umgebung funktioniert, Ziele erschließen und über mehrere Schritte planen. Die Wertung berücksichtigt laut Bericht auch die Zahl der nötigen Aktionen im Vergleich zu menschlichen Lösungen. Der Autor verbindet diese Fähigkeiten mit der Orientierung in unbekannten Situationen, etwa beim Einstieg in eine fremde Codebasis. Er berichtet von konkreten Analysen der Läufe: Opus 5 habe in einer Umgebung eine Gleichung für eine erschlossene Spiegelung formuliert; Sol habe in einem Spiel unabhängige Bewegungsbahnen erkannt und daraus eine Strategie abgeleitet.

Der Text stellt diese Fortschritte den schwachen Ergebnissen bei längeren Aufgaben gegenüber. Er führt METR-Daten an, denen zufolge Modelle bei Aufgaben von weniger als vier Minuten nahezu immer erfolgreich seien, bei menschlich mehr als vier Stunden dauernden Aufgaben jedoch in weniger als zehn Prozent der Fälle. Auch weitere Benchmarks zu Repository-Änderungen, mehrstufigen Computerabläufen und Büroarbeit zeigten erhebliche Ausfälle. Als Erklärung nennt der Autor, dass Fehler sich über abhängige Schritte summieren: Selbst eine hohe Zuverlässigkeit pro Einzelschritt kann bei langen Ketten zu geringer Gesamterfolgsquote führen. Seine Einschätzung aus eigener Nutzung eines lokalen Modells ergänzt diese Zahlen, ist aber eine persönliche Beobachtung.

Daraus leitet der Autor ein ungleichmäßiges Fähigkeitsprofil ab: KI könne sich schnell in Unbekanntem orientieren, aber Ziele über lange, unbeaufsichtigte Arbeitsabläufe hinweg noch schlecht verfolgen. Die herkömmliche Karriereempfehlung, sich vor allem auf mehrdeutige Aufgaben zu verlegen, könnte deshalb zu kurz greifen. Der Bericht verknüpft diese These mit Beschäftigungsdaten, die laut seiner Darstellung sinkende Beschäftigung junger Arbeitskräfte in stark KI-exponierten Berufen und Zuwächse bei älteren Beschäftigten zeigen. Zugleich verweist er auf unterschiedliche Ergebnisse von Benchmarks, die Artefaktqualität beziehungsweise tatsächliche Aufgabenerledigung messen.

Eine allgemeingültige Aussage darüber, ob AGI nahe sei, hält der Autor mangels gemeinsamer Definition für nicht belastbar. Er nennt stark voneinander abweichende Prognosen und Begriffsmodelle. Als Grenzen des ARC-Befunds hebt er hervor: 30,2 Prozent liegen deutlich unter menschlichen 100 Prozent; hohe Werte erforderten teils hohen Rechenaufwand; ein verifizierter Lauf ist nur ein Datenpunkt; Benchmarkleistungen sagen den Arbeitsplatzerfolg nicht zuverlässig voraus; und rasche Trends können sich abflachen. Sein vorsichtiges Fazit: Die Fähigkeiten bei neuartigen Situationen wachsen schneller als erwartet, während lang andauernde, unbeaufsichtigte Ausführung eine Schwäche bleibt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung ist im Kern treu, die Auslassungen betreffen vor allem Kosten, Beschäftigungsbelege und die Selbstkorrektur des Autors; die kurze Fassung deckt weniger ab, enthält aber ebenfalls keine erfundenen Angaben. Die sechs Sammelfragen liegen thematisch weit vom Bericht entfernt, der über KI-Fähigkeiten, Benchmarks, Arbeitsmarkt und AGI-Definitionen schreibt; daher bleiben alle Einordnungen niedrig und Lunas Stufen und Anteile wurden nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Kostenaspekt der Spitzenergebnisse: Der Sol-Lauf brauchte maximalen Reasoning-Aufwand bei Gesamtkosten nahe 20.000 Dollar, was der Autor als Hinweis auf Zukauf von Leistung über Rechenaufwand wertet
  • Beschäftigungsrückgang bei Softwareentwicklern von 22 bis 25 Jahren (rund 20 Prozent), den der Autor als Beleg für die Arbeitsmarktverschiebung anführt
  • Die Selbstkorrektur des Autors: Seine im März vertretene Annahme, Systeme könnten sich in neuartigen Umgebungen nicht orientieren, sei faktisch falsch gewesen
  • Die auseinanderlaufenden AGI-Prognosen (Suleyman, Metaculus, Hassabis, LeCun, Chollet) als Beleg, dass verschiedene Größen unter demselben Begriff laufen

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
  1. SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
    • clef 25 %Hintergrund, keine Belege
    • Luna 49 %Hintergrund, keine Belege
    • JEV 35 %gleiches Oberthema, hilft nicht
    • amos 24 %Hintergrund, keine Belege
    • SubQ 39 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht

    • SF-F1-T04 Welcher gemeinsame, neutrale und offene Maßstab (Aufgaben, Erfolgsrate, abgeschirmte Testumgebung, Belege) zeigt, dass eine Cyber-Schwelle überschritten ist? Würden ein Ministerium und ein Labor in verschiedenen Staaten ihn annehmen, bevor das nächste Modell als Überschreitung eingestuft wird, damit Schwellen gemessen und nicht behauptet werden? Und dient derselbe Maßstab dann sowohl dazu, ein Modell einzustufen, als auch dazu, das Tempo seiner Entwicklung zu steuern? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege
    • SF-F1-T05 Welche Cyber-Prüfungen und welche Testbausteine (Testfälle, Bewertungswerkzeuge, Datensätze) würden jedes Labor und jedes Ministerium anstelle einer bloßen Behauptung als gültig anerkennen, wenn andere sie an ihrem Modell durchführen? Und welche genormte Testsammlung würden Labore verschiedener Staaten gemeinsam an eingefrorenen Modellversionen laufen lassen, verwaltet von einer dritten Stelle, der alle trauen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
  2. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 39 %beantwortet teilweise oder widerspricht
    • amos 26 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht

  3. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 20 %einzelne zitierbare Belege
    • amos 27 %nur am Rande erwähnt
    • SubQ 44 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 50 %einzelne zitierbare Belege
    • amos 26 %Hintergrund, keine Belege
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 47 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht

  2. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 64 %einzelne zitierbare Belege
    • JEV 57 %einzelne zitierbare Belege
    • amos 29 %nur am Rande erwähnt
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 30 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt
  3. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 21 %gleiches Oberthema, hilft nicht
    • Luna 62 %einzelne zitierbare Belege
    • JEV 39 %beantwortet teilweise oder widerspricht
    • amos 33 %einzelne zitierbare Belege
    • SubQ 30 %gleiches Oberthema, hilft nicht
    • drex 32 %einzelne zitierbare Belege
    • d3-ultra 31 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 68 %Hintergrund, keine Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 32 %Hintergrund, keine Belege
    • SubQ 38 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 68 %gleiches Oberthema, hilft nicht

    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 29 %gleiches Oberthema, hilft nicht
    • Luna 73 %Hintergrund, keine Belege
    • JEV 39 %gleiches Oberthema, hilft nicht
    • amos 30 %nur am Rande erwähnt
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 75 %gleiches Oberthema, hilft nicht

    • SF-T3-T01 Welches messbare Zeichen, also welche beobachtbare Änderung in der Fähigkeit eines Modells, die Abläufe zu verbessern, mit denen seine eigenen Fähigkeiten entwickelt werden, würden Labore und Staaten gemeinsam als Beginn der Selbstverbesserung anerkennen, und wer darf im Labor danach suchen? Welche beobachtbare Änderung markiert den Schritt von beaufsichtigter automatisierter Forschung zu voll selbstständiger Selbstverbesserung, und welche öffentliche Stelle darf diesen Schritt nach Prüfung der Belege für menschliche Kontrolle erlauben oder ablehnen? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
    • clef 100 %kein Bezug
    • Luna 52 %gleiches Oberthema, hilft nicht
    • JEV 100 %kein Bezug
    • amos 27 %Hintergrund, keine Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 32 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht
  2. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 56 %Hintergrund, keine Belege
    • JEV 22 %Hintergrund, keine Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 40 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht

    • SF-V3-T03 Werden Labore und die übrige Branche gemeinsame Tests veröffentlichen, ob Werte bei unbekannten Aufgaben, widerstreitenden Anreizen, in gegnerischen Lagen und bei fehlender oder anders wahrgenommener Aufsicht halten, unabhängig wiederholt und mit Fehlschlägen und Unsicherheit? Luna: Stufe 3 · 44 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
    • SF-V3-T04 Wer muss Rechenschaft ablegen, wenn ein Modell Werte auf Lagen überträgt, die beim Training niemand vorhergesehen hat: das Modell, das Labor oder der Mensch, der das Ziel gesetzt hat? Luna: Stufe 3 · 46 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  3. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 37 %Hintergrund, keine Belege
    • JEV 55 %beantwortet teilweise oder widerspricht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 36 %gleiches Oberthema, hilft nicht
    • drex 27 %gleiches Oberthema, hilft nicht
    • d3-ultra 61 %gleiches Oberthema, hilft nicht

  4. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 27 %gleiches Oberthema, hilft nicht
    • Luna 58 %Hintergrund, keine Belege
    • JEV 42 %umfangreiche Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 64 %gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 47 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 75 %gleiches Oberthema, hilft nicht

Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 80 %Hintergrund, keine Belege
    • JEV 46 %einzelne zitierbare Belege
    • amos 34 %nur am Rande erwähnt
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 43 %gleiches Oberthema, hilft nicht
    • d3-ultra 67 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 74 %gleiches Oberthema, hilft nicht
    • JEV 30 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 60 %gleiches Oberthema, hilft nicht
    • drex 57 %gleiches Oberthema, hilft nicht
    • d3-ultra 69 %gleiches Oberthema, hilft nicht
  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 42 %Hintergrund, keine Belege
    • amos 34 %gleiches Oberthema, hilft nicht
    • SubQ 66 %gleiches Oberthema, hilft nicht
    • drex 68 %gleiches Oberthema, hilft nicht
    • d3-ultra 74 %gleiches Oberthema, hilft nicht

    • SF-E5-T02 Welche Entscheidungen müssen menschlich bleiben, auch wenn eine KI sie besser treffen könnte, und wie würden Staaten in Entscheidungsschleifen mit hohem Risiko prüfbar machen, dass ein Mensch die Ausgabe der KI wirklich beurteilt und nicht nur routinemäßig abgenickt hat? Luna: Stufe 3 · 45 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →