Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch19. September 2025 · Q006816

The huge potential implications of long-context inference

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Autor argumentiert, dass sehr lange Inferenzkontexte kontinuierliches Lernen während der Nutzung und eine stärkere Skalierung von RL ermöglichen könnten. Ob das gelingt, ist offen: Wissensverlust, nachlassende Zuverlässigkeit in langen Kontexten, Kosten und langsamere Forschungszyklen bleiben wesentliche Hindernisse.

Mittel

Jean-Stanislas Denain vertritt in diesem Meinungsbeitrag die These, dass sehr lange Inferenzkontexte weitreichende Folgen haben könnten: Sie könnten Modellen helfen, während der Nutzung neue Informationen und frühere Korrekturen verfügbar zu halten, und RL durch längeres Nachdenken, Prüfen von Antworten und Erzeugen von Trainingsumgebungen ausweiten. Die genannten Größenordnungen – etwa acht Monate Computerarbeit in zehn Milliarden Tokens – sind Schätzungen unter bestimmten Annahmen, keine belegte Leistung heutiger Modelle.

Der Beitrag erörtert Einwände und Grenzen. Textzusammenfassungen können stillschweigendes Wissen verlieren; mögliche Ergänzungen wären optimierte Kontexte, Lernen in Ruhephasen, multimodale Tokens oder gelernte KV-Caches. Zudem können Modelle lange Kontexte schon vor Ausschöpfung des formalen Fensters schlecht nutzen, etwa indem sie sich an Fehlern festhalten. Rechenkosten und langsamere Forschungszyklen bei wochenlangen Inferenzläufen sind weitere Engpässe. Der Autor verweist auf stark wachsende Kontextlängen und erwartet mögliche baldige Auswirkungen, macht diese Einschätzung aber von anhaltenden Trends sowie Hardware- und Algorithmusfortschritten abhängig.

Ausführlich lesen

Der Bericht von Jean-Stanislas Denain erörtert, welche Folgen sehr lange Inferenzkontexte für Sprachmodelle haben könnten. Er stellt dabei ausdrücklich die persönliche Einschätzung des Autors dar, nicht notwendigerweise die Position von Epoch AI. Die zentrale These: Kontexte mit Milliarden Tokens könnten über das bloße Verarbeiten langer Dokumente hinausgehen und Fortschritte bei kontinuierlichem Lernen sowie beim Skalieren von Reinforcement Learning (RL) ermöglichen. Das sind mögliche Entwicklungen, keine im Bericht nachgewiesenen Fähigkeiten heutiger Systeme.

Lange Kontexte könnten Modellen erlauben, Erfahrungen und frühere Korrekturen während der Nutzung verfügbar zu halten. Der Bericht nennt als Größenordnungen: Eine Million Tokens könnte bei der Aufzeichnung von Computerarbeit anhand von Bildschirmbildern für etwa eine halbe Stunde reichen, zehn Millionen für ungefähr sechs Stunden und zehn Milliarden für rund acht Monate. Wenn Text- und Audio-Tokens als Darstellung der Arbeitserfahrung genügen, schätzt der Autor, dass etwa 40 Millionen Tokens mehrere Monate abdecken könnten. Diese Rechnungen beruhen auf Annahmen zu Tokenbedarf und Aufzeichnungsweise; der Bericht betont zudem, dass ein großer Kontext auf dem Papier nicht automatisch praktisch nutzbar ist.

Einwände betreffen insbesondere den Verlust stillschweigenden, erfahrungsbasierten Wissens, wenn frühere Arbeit nur als Text zusammengefasst wird. Als mögliche Antworten diskutiert der Beitrag eine gezielte Optimierung sehr großer Kontexte, Lernverarbeitung in Ruhephasen sowie andere Speicherformen, etwa multimodale Tokens oder einen gelernten KV-Cache als kompaktere Wissensrepräsentation. Ob diese Ansätze funktionieren, hängt laut Bericht auch davon ab, ob relevante Interaktionen digitalisiert und dem Modell zugänglich gemacht werden können. Außerdem können Modelle lange Kontexte schon vor Erreichen der formalen Grenze schlecht nutzen: Als Beispiel nennt der Text Fehler und Verluste bei Aufgaben im Vending-Bench sowie Modelle, die sich in langen Gesprächen an früheren Fehlern festfahren.

Längere Inferenz könnte außerdem RL-Ausbau unterstützen, etwa durch mehr Überlegungen, die Überprüfung von Antworten und die Erzeugung hochwertiger Trainingsumgebungen. Dem stehen zwei Engpässe gegenüber: Läufe über Wochen oder Monate verlängern Forschungszyklen, weil Ergebnisse später vorliegen und Folgeexperimente davon abhängen. Zudem könnten Rechenaufwand und Kosten prohibitiv sein; der Bericht führt an, dass Google DeepMind eine Version von Gemini 1.5 Pro mit zehn Millionen Tokens wegen hoher Kosten nicht veröffentlichte.

Abschließend verweist der Autor auf ein berichtetes Wachstum der Kontextlängen um das 30-Fache pro Jahr und auf bessere Nutzung großer Kontexte durch Spitzenmodelle. Falls diese Trends auch deutlich langsamer anhalten, könnten die beschriebenen Auswirkungen bald relevant werden. Das bleibt jedoch eine Prognose; der Beitrag räumt ein, dass dafür weitere Hardware- und Algorithmusfortschritte nötig sind.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Der Bericht ist ein Beitrag über lange Inferenzkontexte, kontinuierliches Lernen und RL-Skalierung und enthält keine Aussagen zu Selbstverbesserung, Mehrsystem-Risiken oder Wertstabilität. Die Einordnung von Luna gibt die im Bericht enthaltenen Inhalte daher nur minimal wieder. Die von Luna angegebenen Anteile in Prozent sind im Schema nicht vorgesehen und wurden nicht übernommen.

Im Bericht, aber nicht in der Zusammenfassung

  • Das Kontextlängen-Wachstum von 30× pro Jahr wird nur als „stark wachsend“ beschrieben und nicht beziffert.
  • Die Rechnung mit Computerarbeit (1 Mio. Tokens etwa 30 Minuten) wird nicht genannt.
  • Das Beispiel, dass Google DeepMind die 10-Mio.-Token-Version von Gemini 1.5 Pro aus Kostengründen nicht veröffentlicht hat, fehlt.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 56 %einzelne zitierbare Belege
    • JEV 30 %Hintergrund, keine Belege
    • amos 30 %Hintergrund, keine Belege
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 43 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Vertrauen in Modelle
  1. SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 70 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung kein Bezug

    • SF-V3-T01 Worauf verlässt sich ein Mensch, wenn er glaubt, niemand sehe zu, und lassen sich solche Werte einem System beibringen, das sie nur aus Text gelernt hat? Wie testen Labore heute, ob die Werte eines Modells halten, wenn es zu Recht oder zu Unrecht glaubt, niemand sehe zu? Und wenn niemand erkennen kann, ob jemand zusieht: Was hält Werte dann fest, Charakter, Training oder die Geschichte, die man sich selbst erzählt? Luna: Stufe 3 · 37 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 0 · kein Bezug
  2. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 52 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  3. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 46 %Hintergrund, keine Belege
    • JEV 47 %einzelne zitierbare Belege
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 64 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 29 %nur am Rande erwähnt
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 50 %gleiches Oberthema, hilft nicht

  2. SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
    • clef 100 %kein Bezug
    • Luna 66 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 45 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Modelle teilen und schützen
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

  2. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 29 %gleiches Oberthema, hilft nicht
    • amos 53 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →