Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch29. Dezember 2025 · Q006623

How far can decentralized training over the internet scale?

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht hält dezentrales KI-Training über das Internet dank Bandbreiten sparender Verfahren technisch für stark ausbaufähig, weist aber auf mögliche Qualitätsverluste und fehlende Tests vieler Kombinationen im großen Maßstab hin. Obwohl die Projekte rasch wachsen, erwartet der Autor nicht, dass sie noch in diesem Jahrzehnt beim Rechenumfang zur Spitze aufschließen; sie könnten dennoch größere offene Modelle ermöglichen.

Mittel

Der Bericht bewertet, wie weit KI-Training über viele Geräte im Internet skalieren kann. Autor Jaime Sevilla hält es technisch für möglich, größere Modelle dezentral zu trainieren: Verfahren wie DiLoCo, Quantisierung, Sparsifizierung und überlappte Kommunikation können den hohen Bandbreitenbedarf deutlich senken. Modellparallelisierung und asynchrones bestärkendes Lernen eröffnen weitere Wege. Diese Techniken können jedoch die Modellqualität mindern; etliche Kombinationen seien noch nicht im großen Maßstab erprobt.

Die bisherigen größten dezentralen Trainingsläufe nutzen laut Bericht etwa 1.000-mal weniger Rechenleistung als heutige Spitzenmodelle. Zwar seien dezentrale Projekte seit 2020 rund 600.000-fach gewachsen, doch der Autor bezweifelt, dass sie noch in diesem Jahrzehnt Frontier-Rechenleistung ansammeln. Vergleiche mit Folding@home und Bitcoin legen seiner Einschätzung nach ein mögliches Wachstum heutiger Netze um den Faktor 30 bis 3.000 nahe; solche Vergleiche erlauben keine sichere Prognose, und nur ein Teil vorhandener Rechenleistung dürfte zugänglich sein. Dezentrales Training könnte dennoch größere offene Modelle ermöglichen und die Reichweite von Regeln begrenzen, die hauptsächlich an großen Rechenzentren ansetzen. Effizienzfortschritte könnten den Abstand zur Spitze verkleinern.

Ausführlich lesen

Der Bericht von Jaime Sevilla untersucht, wie weit sich KI-Modelle über das Internet verteilt trainieren lassen. Sevilla stellt die Einschätzungen als seine eigene Analyse dar; sie geben laut Einleitung nicht zwingend die Position von Epoch AI insgesamt wieder. Internetbasiertes Training verteilt Rechenarbeit auf viele unabhängige Geräte. Es könnte dadurch ungenutzte Rechenleistung erschließen und die Abhängigkeit von wenigen großen Rechenzentren verringern. Die bisher größten dezentralen Trainingsläufe liegen laut Bericht jedoch noch etwa um den Faktor 1.000 unter dem Rechenaufwand heutiger Spitzenmodelle.

Die zentrale technische Hürde ist die begrenzte Bandbreite. Bei typischen Uploadraten von rund 60 Mbit/s würde eine naive Datenparallelisierung laut einer Beispielrechnung Tausende Jahre für ein DeepSeek-V3-ähnliches Modell benötigen. Der Bericht beschreibt mehrere Verfahren, die den Datenaustausch reduzieren: Bei DiLoCo berechnen Knoten mehrere Trainingsschritte selbstständig, bevor sie ihre Updates abgleichen; Quantisierung überträgt Updates mit weniger Bits, während Sparsifizierung nur ausgewählte Gradienten weitergibt. Fehlerkorrektur kann ausgelassene Differenzen für spätere Übertragungen sammeln. Streaming DiLoCo überlappt Kommunikation und Berechnung. Diese Ansätze senken den Bandbreitenbedarf erheblich, können aber die Modellleistung verschlechtern. Der Leistungsverlust kann mit der Zahl der Knoten wachsen; viele Verfahren seien zudem noch nicht gemeinsam und im großen Maßstab erprobt.

Als weitere Ansätze nennt Sevilla Modellparallelisierung, bei der verschiedene Knoten unterschiedliche Modellteile bearbeiten, sowie asynchrones bestärkendes Lernen. Bei Letzterem können Knoten Trainingsbeispiele mit leicht veralteten Modellständen erzeugen, während Aktualisierungen übertragen werden. Prime Intellects INTELLECT-2 habe dafür mehr als 800 Knoten zur Erzeugung von Denkspuren und zum Nachtraining eines QwQ-32B-Modells koordiniert. Der Bericht beschreibt außerdem eine Schätzung, nach der mögliche Kombinationen aus DiLoCo, 4-Bit-Quantisierung und Sparsifizierung deutlich größere Läufe erlauben könnten. Das sind Hochrechnungen, keine Garantie: Die Verfahren beeinträchtigen teils die Qualität und ihre Kombinationen sind nicht alle praktisch bestätigt.

Sevilla hält Training in Frontier-Größenordnung technisch für machbar, bezweifelt aber, dass dezentrale Entwickler die dafür nötige Rechenleistung noch in diesem Jahrzehnt zusammenbringen. Die dezentralen Projekte seien seit 2020 rechnerisch ungefähr 600.000-fach gewachsen, entsprechend etwa dem 20-Fachen pro Jahr. Der Autor vergleicht das mit Folding@home und dem Bitcoin-Netzwerk und schätzt daraus, dass heutige dezentrale Trainingsnetze möglicherweise um das 30- bis 3.000-Fache wachsen könnten. Diese Vergleiche liefern Anhaltspunkte, aber keine sichere Prognose. Auch wenn weltweit viel potenziell ungenutzte KI-Rechenleistung vorhanden sei, lasse sich davon laut Bericht wahrscheinlich nur ein Teil erschließen. Zum Vergleich: Das größte betrachtete aktive Netz erreiche etwa 1/300 der geschätzten effektiven Trainingsleistung eines Frontier-Rechenzentrums.

Das Fazit lautet, dass dezentrales Training größere offene Modelle hervorbringen und die durch Regulierung erreichbare Modellgröße begrenzen könnte, wenn Regeln vor allem an großen Rechenzentren ansetzen. Der Autor erwartet, dass dezentrale Modelle wegen ihrer begrenzten Ressourcen und der Qualitätsverluste zunächst hinter der Spitze zurückbleiben. Effizienzgewinne bei Algorithmen und Hardware könnten diesen Abstand aber verringern. Selbst bei anhaltendem Wachstum hält er ein Aufschließen beim Trainingsumfang noch in diesem Jahrzehnt für unwahrscheinlich.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung gibt den Bericht im Wesentlichen treu wieder; es fehlen vor allem die Wachstumsraten und der Vergleich mit dem Frontier-Training. Die Einordnung der Sammelfragen und Teilfragen ist unabhängig von Lunas Stufen und Anteilen erfolgt; die Teilfragen sind im Bericht kaum behandelt.

Im Bericht, aber nicht in der Zusammenfassung

  • Das Wachstum dezentralen Trainings von etwa 20x pro Jahr und der Vergleich mit dem Frontier-Wachstum von etwa 5x pro Jahr samt Aufholzeit von rund 5,5 Jahren
  • Die naive Datenparallelität würde bei DeepSeek-v3-Größe rund 5.000 Jahre brauchen, was die Bandbreitenproblematik verdeutlicht
  • Die Einschätzung, dass Frontier-Firmen dezentrales Internet-Training wohl nicht verfolgen werden, weil sie effizientere Rechenzentren bauen können

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
  1. SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 25 %Hintergrund, keine Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 55 %Hintergrund, keine Belege
    • JEV 31 %Hintergrund, keine Belege
    • amos 32 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht
  2. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 29 %Hintergrund, keine Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
Unabhängig prüfen
  1. SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
    • clef 23 %Hintergrund, keine Belege
    • Luna 54 %Hintergrund, keine Belege
    • JEV 42 %gleiches Oberthema, hilft nicht
    • amos 29 %einzelne zitierbare Belege
    • SubQ 32 %gleiches Oberthema, hilft nicht
    • drex 24 %einzelne zitierbare Belege
    • d3-ultra 39 %Hintergrund, keine Belege

    • SF-P4-T01 Würden Regierungen Messdaten aus der Lieferkette von Chips (Telemetrie), den Stromverbrauch, gemeldete Verzeichnisse von Trainingsläufen und eine unabhängig überwachte Abrechnung von Strom, Hardware und Rechenaufwand als vertragstauglichen Nachweis für die Größe der Trainingsläufe eines anderen Staates anerkennen, ohne Modellgewichte (die gelernten Parameter) oder Code anzurühren? Und wie sähe eine Prüfordnung für Rechenschwellen aus, die nichts über das Innere der Modelle verrät? Luna: Stufe 3 · 51 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
    • SF-P4-T02 Verpflichten sich Staaten jeweils, ein Register der Trainingsläufe über einer festgelegten Rechenschwelle zu veröffentlichen, damit kein Staat heimlich über vereinbarte Grenzen hinaus wachsen kann? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 69 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht

    • SF-T1-T02 Welche messbaren Schwellen halten die weitere Skalierung von KI-Modellen automatisch an, wer prüft sie, und wie bleiben diese Auslöser bindend, wenn der Wettbewerb drückt? Luna: Stufe 3 · 25 % · Hintergrund, keine Belege
  2. SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
    • clef 25 %Hintergrund, keine Belege
    • Luna 41 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 30 %Hintergrund, keine Belege
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 29 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht
  3. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 72 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 62 %gleiches Oberthema, hilft nicht
    • d3-ultra 63 %gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 68 %Hintergrund, keine Belege
    • JEV 40 %Hintergrund, keine Belege
    • amos 44 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 53 %gleiches Oberthema, hilft nicht
    • d3-ultra 58 %gleiches Oberthema, hilft nicht

Agenten und vernetzte Systeme
  1. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 54 %gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 57 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 51 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 25 %Hintergrund, keine Belege
    • Luna 55 %Hintergrund, keine Belege
    • JEV 35 %nur am Rande erwähnt
    • amos 35 %nur am Rande erwähnt
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 36 %gleiches Oberthema, hilft nicht
    • d3-ultra 55 %gleiches Oberthema, hilft nicht

    • SF-H2-T02 Wenn ein Staat Agentenwerkzeuge mit offenem Quellcode als Risiko für Spionage und Datenabfluss einstuft und sich offen veröffentlichte Modellgewichte nicht zurückholen lassen: Welche konkreten, für die beteiligten Regierungen annehmbaren Regeln sollen die Veröffentlichung von Modellen mit offenen Gewichten und selbstständigen Agentenfähigkeiten bestimmen, und wie vermeiden diese Regeln, die offene Forschung abzuwürgen? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-H2-T04 Wie sollen Staaten mit Open-Source-Modellen aus einem Land umgehen, die in einem anderen schädlich genutzt werden könnten, ohne legitime Forschungszusammenarbeit zu verhindern? Luna: Stufe 3 · 49 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
  3. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 62 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  4. SF-H5 Wann sind Chip- und Exportkontrollen eine Sicherheitsmaßnahme, und wann ein dauerhafter Vorteil?
    • clef 100 %kein Bezug
    • Luna 78 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung nur am Rande erwähnt

Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 49 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 54 %gleiches Oberthema, hilft nicht
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Beteiligung und Gemeinwohl
  1. SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
    • clef 100 %kein Bezug
    • Luna 45 %Hintergrund, keine Belege
    • JEV 36 %Hintergrund, keine Belege
    • amos 28 %nur am Rande erwähnt
    • SubQ 43 %gleiches Oberthema, hilft nicht
    • drex 52 %gleiches Oberthema, hilft nicht
    • d3-ultra 57 %gleiches Oberthema, hilft nicht

  2. SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 52 %einzelne zitierbare Belege
    • amos 29 %nur am Rande erwähnt
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 41 %gleiches Oberthema, hilft nicht
  3. SF-E3 Welche Stellen sind in einem Staat für KI-Sicherheit und Prüfungen zuständig, und was davon gibt es schon?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 44 %nur am Rande erwähnt
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 56 %gleiches Oberthema, hilft nicht
  4. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 85 %einzelne zitierbare Belege
    • JEV 36 %beantwortet teilweise oder widerspricht
    • amos 29 %Hintergrund, keine Belege
    • SubQ 42 %gleiches Oberthema, hilft nicht
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 42 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-E4-T03 Wie können gemeinsame Sicherheitsregeln verhindern, dass hohe Kosten der Einhaltung den Markt auf wenige reiche Labore verengen, und trotzdem kleine Entwickler und Open-Source-Entwickler auf dieselbe Mindestschwelle für Sicherheit verpflichten? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
  5. SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
    • clef 100 %kein Bezug
    • Luna 36 %einzelne zitierbare Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra 59 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung kein Bezug

    • SF-E5-T01 Wer soll das Tempo der KI-Entwicklung bestimmen: die Labore, die Regierungen oder die Menschen, die diese Systeme jeden Tag nutzen? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege
Wirtschaft und Haftung

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →