Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch16. Mai 2025 · Q006642

How fast can algorithms advance capabilities?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Beitrag argumentiert, dass manche Algorithmusverbesserungen schon bei kleinen Modellen wirken, während die größten historischen Leistungsgewinne laut Autor oft erst mit viel Rechenleistung sichtbar werden. Kleine Tests und eine Literaturübersicht stützen diese Einschätzung, doch sie messen nur den Vortrainingsverlust eines kleinen Modells und lassen unter anderem Inferenz, Nachtraining und größere Maßstäbe offen.

Mittel

Henry Josephson erörtert, ob große KI-Fortschritte auch ohne stark wachsende Rechenleistung möglich sind. Er unterscheidet zwischen algorithmischen Verbesserungen, die bereits bei kleinen Modellen helfen, und solchen, deren Nutzen erst bei größerem Maßstab sichtbar wird. Eine Literaturübersicht zu GPT-, BERT-, LLaMA- und DeepSeek-Modellen sowie Tests mit einer verkleinerten GPT-2-Version (etwa 165 Millionen Parameter) bilden die Grundlage. Gemessen wurde der Rechenaufwand, der ohne eine Verbesserung nötig wäre, um denselben Vortrainingsverlust auf OpenWebText zu erzielen. LayerNorm, RoPE und FlashAttention ergaben zusammen laut Beitrag einen CEG von etwa 3,5. Der Autor stellt dies möglichen Gewinnen von 10- bis 50-fach oder mehr bei stark rechenleistungsabhängigen Verfahren gegenüber.

DeepSeek-V3 veranschauliche, wie algorithmische Verfahren trotz Hardwarebeschränkungen zu leistungsfähigen Modellen beitragen können. Der Beitrag argumentiert, dass große Rechenbudgets die Suche nach besonders wirksamen Algorithmen erleichtern und Hardwarebeschränkungen den Fortschritt daher bremsen, aber nicht beenden dürften. Die Befunde sind vorläufig: getestet wurde nur ein kleines Modell, gemessen wurde Vortrainingsverlust statt nachgelagerter Fähigkeiten, und viele Bereiche wie Inferenz, RL, Datenwechselwirkungen und andere Fachgebiete blieben außen vor.

Ausführlich lesen

Der Gastbeitrag von Henry Josephson untersucht, wie stark algorithmische Fortschritte von verfügbarer Rechenleistung abhängen und was das für das Tempo des KI-Fortschritts bedeuten könnte. Anlass ist das Szenario „AI 2027“, in dem KI-Systeme sich binnen weniger Jahre durch rekursive Selbstverbesserung stark beschleunigen. Der Autor zufolge hängt die Plausibilität eines solchen schnellen Übergangs unter anderem davon ab, ob wichtige Algorithmusverbesserungen schon mit kleinen Modellen erkennbar sind oder erst bei großem Rechenaufwand ihre Wirkung entfalten.

Der Beitrag unterscheidet zwischen rechenleistungsunabhängigen Verbesserungen, deren Nutzen schon bei kleinen Modellen auftritt und mit größerem Maßstab anhält oder zunimmt, und rechenleistungsabhängigen Verbesserungen, die bei wenig Rechenleistung wenig helfen oder die Leistung sogar verschlechtern können. Für eine Literaturübersicht betrachtete das Team öffentlich dokumentierte Modellfamilien wie frühe GPTs, BERT-Varianten, LLaMA und DeepSeek. Es konzentrierte sich möglichst auf aufeinanderfolgende Generationen derselben Familie, um Unterschiede in den Trainingsdaten teilweise zu kontrollieren. Beispiele sind die Entwicklung von Sparse Attention, LayerNorm zu RMSNorm sowie von Standard- zu Grouped-Query-Attention. Die Forschenden wählten außerdem wiederholt eingesetzte Algorithmen aus, die sich mit ihren begrenzten Mitteln praktisch testen ließen.

Für Experimente implementierte das Team ausgewählte Verfahren in einer verkleinerten GPT-2-Version mit etwa 165 Millionen statt 1,5 Milliarden Parametern. Als Maß diente der „compute-equivalent gain“ (CEG): wie viel zusätzliche Rechenleistung ohne eine Verbesserung nötig wäre, um denselben Cross-Entropy-Verlust auf OpenWebText zu erreichen. Die Kombination von LayerNorm, RoPE und FlashAttention erzielte laut Beitrag auf diesem kleinen Modell einen CEG von ungefähr 3,5. Der Autor stellt dies den deutlich größeren, in der Literatur dokumentierten Gewinnen mancher rechenleistungsabhängiger Verfahren gegenüber, die bei großem Maßstab 10- bis 50-fach oder mehr betragen könnten. Er betont zugleich, dass die Abhängigkeit kein einfaches Entweder-oder sei und einzelne Verfahren bei kleinen Modellen kaum nützen oder sogar schaden könnten.

DeepSeek-V3 dient als Fallbeispiel: Trotz eingeschränktem Zugang zu Hochleistungschips habe der abschließende Trainingslauf des 671-Milliarden-Parameter-Modells 2,788 Millionen H800-GPU-Stunden beansprucht. Der Beitrag vergleicht dies mit rund 30,84 Millionen Stunden auf leistungsfähigeren H100-GPUs für LLaMA 3.1-405B-Instruct. Als mögliche Erklärung nennt er unter anderem Multi-Headed Latent Attention, Mixture of Experts und Training mit gemischter Genauigkeit. Der Autor folgert, dass algorithmische Verbesserungen Fortschritt auch unter Hardwarebeschränkungen ermöglichen, die wirkungsvollsten Beispiele aber gerade Verfahren seien, deren Vorteile erst bei größerem Maßstab deutlich würden.

Daraus leitet er ab, dass Rechenleistung sowohl größere Modelle als auch das Entdecken und Überprüfen besonders wirksamer Algorithmen begünstigen kann. Beschränkungen könnten solche Durchbrüche verlangsamen, würden Fortschritt aber nicht vollständig stoppen, da Verbesserungen mit geringem Rechenbedarf weiter möglich seien. Die Prognose hängt laut Autor davon ab, wie leicht und wie häufig Labore rechenleistungsabhängige Fortschritte finden und validieren können.

Die Aussagekraft ist begrenzt: Die Experimente nutzten ein kleines Modell und maßen Vortrainingsverlust, nicht nachgelagerte Fähigkeiten. Die Einordnung beruht auf Literaturauswertung und kleinen Tests statt systematischen Mehrskalenexperimenten. Nicht untersucht wurden unter anderem Inferenzzeitverfahren, Nachtraining und RL, Wechselwirkungen mit Trainingsdaten sowie andere Bereiche wie Bildverarbeitung oder Biologie. Der Autor fordert Replikationen bei größeren Maßstäben und weitere Untersuchungen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas zwei Zusammenfassungen (kurz und mittel) wurden gemeinsam geprüft; beide geben den Bericht sachlich korrekt wieder, lassen aber Davidson-Debatte, DeepSeek-V3 und regulatorische Folgerungen aus. Die Prozentangaben in Lunas Einordnung sind im Schema nicht vorgesehen und wurden nicht bewertet; die Stufen wurden unabhängig vergeben und weichen bei mehreren Fragen deutlich nach unten ab.

Im Bericht, aber nicht in der Zusammenfassung

  • Davidsons Gegenargument, dass Forscher aus kleinen Experimenten extrapolieren können, und die Antwort des Autors, dass Experimente mit Dutzenden bis Hunderten H100 bereits ausreichend Signal liefern
  • Die Schlussfolgerung für Regulierung: Exportkontrollen bremsen den Fortschritt, stoppen ihn aber nicht, und Compute-Schwellen werden durch compute-unabhängige Fortschritte schwerer zu definieren
  • DeepSeek-V3 als Beispiel dafür, wie algorithmische Verbesserungen trotz eingeschränkter Hardware zu einem leistungsfähigen Modell führen
  • Die Einordnung, dass compute-Abhängigkeit ein Spektrum ist, mit dem Beispiel Multi-Query-Attention

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %Hintergrund, keine Belege
    • amos 28 %gleiches Oberthema, hilft nicht
    • SubQ 50 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
  1. SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %Hintergrund, keine Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 49 %gleiches Oberthema, hilft nicht
    • drex 100 %kein Bezug
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 25 %gleiches Oberthema, hilft nicht
    • Luna 42 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

    • SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen? Luna: Stufe 3 · 36 % · Hintergrund, keine Belege
  3. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 26 %Hintergrund, keine Belege
    • Luna 100 %kein Bezug
    • JEV 33 %gleiches Oberthema, hilft nicht
    • amos 27 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 59 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 33 %Hintergrund, keine Belege
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 43 %gleiches Oberthema, hilft nicht

    • SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
    • SF-T1-T08 Wenn ein Sicherheitsprojekt mit KI-Hilfe zugleich die allgemeine Fähigkeit des Modells oder die für sein Training genutzte Rechenleistung steigert: Wie hält man beide Wirkungen fest, und wie entscheidet man, ob der daraus entstehende Fähigkeitszuwachs eine neue Sicherheitsprüfung braucht, bevor die Arbeit weitergeht? Luna: Stufe 3 · 34 % · Hintergrund, keine Belege
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 100 %kein Bezug
    • Luna 71 %Hintergrund, keine Belege
    • JEV 33 %Hintergrund, keine Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

    • SF-T2-T01 Welche öffentliche, nachprüfbare Handlung würde als Verzicht auf weitere Skalierung zählen, nicht nur eine Ankündigung? Was müsste ein Labor veröffentlichen, damit eine rivalisierende Regierung bestätigen kann, dass wirklich pausiert wurde, und welche nachträglichen Belege würden zeigen, dass keine Fähigkeitszuwächse zurückgehalten wurden, etwa durch nicht offengelegte Änderungen an Rechenleistung beim Einsatz oder Werkzeugzugang oder durch einen nicht offengelegten Austausch von Modellen? Luna: Stufe 3 · 50 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 26 %Hintergrund, keine Belege
    • Luna 64 %einzelne zitierbare Belege
    • JEV 33 %einzelne zitierbare Belege
    • amos 32 %einzelne zitierbare Belege
    • SubQ 31 %gleiches Oberthema, hilft nicht
    • drex 28 %Hintergrund, keine Belege
    • d3-ultra 31 %nur am Rande erwähnt
    • Haiku-Prüfung nur am Rande erwähnt

    • SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren? Luna: Stufe 3 · 55 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 29 %Hintergrund, keine Belege
    • Luna 61 %Hintergrund, keine Belege
    • JEV 38 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

    • SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege
Agenten und vernetzte Systeme
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 26 %Hintergrund, keine Belege
    • Luna 74 %einzelne zitierbare Belege
    • JEV 50 %beantwortet teilweise oder widerspricht
    • amos 40 %einzelne zitierbare Belege
    • SubQ 34 %einzelne zitierbare Belege
    • drex 36 %einzelne zitierbare Belege
    • d3-ultra 60 %einzelne zitierbare Belege
    • Haiku-Prüfung einzelne zitierbare Belege

    • SF-H5-T03 Welche beobachtbare Reaktion würde zeigen, dass Technologiebeschränkungen ein überprüfbares Sicherheitsabkommen unwahrscheinlicher machen, während sie den Fähigkeitsvorsprung vergrößern, und wie würde sich die Strategie dann ändern? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Frieden und Sicherheit
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 52 %Hintergrund, keine Belege
    • JEV 34 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 51 %gleiches Oberthema, hilft nicht

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 49 %einzelne zitierbare Belege
    • amos 27 %Hintergrund, keine Belege
    • SubQ 52 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 45 %gleiches Oberthema, hilft nicht
  3. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 64 %Hintergrund, keine Belege
    • JEV 54 %einzelne zitierbare Belege
    • amos 42 %gleiches Oberthema, hilft nicht
    • SubQ 58 %gleiches Oberthema, hilft nicht
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht

  4. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 53 %Hintergrund, keine Belege
    • JEV 43 %Hintergrund, keine Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 61 %gleiches Oberthema, hilft nicht
    • drex 55 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →