Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai5. Dezember 2019 · Q008770

Deep double descent

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht beschreibt, wie bei CNNs, ResNets und Transformern die Testleistung mit Modellgröße, Datenmenge oder Trainingsdauer zunächst schlechter werden und später wieder besser werden kann. Die Effekte treten den Angaben zufolge häufig nahe der Schwelle zum perfekten Fit der Trainingsdaten auf; ihre Ursachen sind laut den Forschenden noch nicht verstanden.

Mittel

Der Bericht stellt „Deep Double Descent“ als Muster vor, bei dem die Testleistung mit wachsender Modellgröße, Datenmenge oder Trainingsdauer zunächst besser, dann schlechter und schließlich wieder besser werden kann. Die Autorinnen und Autoren berichten dieses Verhalten für CNNs, ResNets und Transformer. Das Testfehlermaximum trete oft nahe der Interpolationsschwelle auf, wenn ein Modell gerade groß genug ist, die Trainingsdaten zu reproduzieren. Labelrauschen mache den Effekt deutlicher; Faktoren wie Optimierungsverfahren und Zahl der Trainingsbeispiele verschöben nach den beschriebenen Beobachtungen die Lage des Maximums.

Der Text erläutert außerdem, dass zusätzliche Daten bei bestimmten mittleren Modellgrößen schaden können: In einem Übersetzungsversuch mit Transformern war das Training mit 4,5-mal mehr Beispielen schlechter. Auch längeres Training kann laut Bericht auf einen anfänglichen Anstieg der Fehler mit einem erneuten Rückgang folgen. Als mögliche Erklärung nennen die Forschenden Unterschiede zwischen den wenigen Lösungen nahe der Interpolationsschwelle und den vielen Lösungen überparametrisierter Modelle. Sie betonen jedoch, dass dies eine Intuition ist und die Ursachen offenbleiben. Der Bericht präsentiert diese Ergebnisse als beobachtetes Verhalten, nicht als universelle Regel.

Ausführlich lesen

Der Bericht beschreibt das sogenannte „Deep Double Descent“: Bei bestimmten tiefen Lernmodellen kann die Testleistung mit wachsender Modellgröße, Datenmenge oder Trainingsdauer zunächst besser, dann schlechter und anschließend wieder besser werden. Die Autorinnen und Autoren geben an, dieses Muster bei CNNs, ResNets und Transformern beobachtet zu haben, insbesondere wenn kein Early Stopping und keine Regularisierung eingesetzt werden. Sie betonen zugleich, dass das Verhalten häufig durch sorgfältige Regularisierung vermieden werde.

Die berichteten Experimente betrachten drei Varianten. Bei der modellgrößenbezogenen Variante steigt der Testfehler demnach nahe der Interpolationsschwelle an: Das ist der Bereich, in dem ein Modell gerade groß genug ist, um die Trainingsdaten zu reproduzieren. Jenseits dieses Bereichs sinkt der Testfehler erneut. Die Lage des Fehlermaximums verschiebe sich, wenn Faktoren wie Optimierungsverfahren, Zahl der Trainingsbeispiele oder zusätzliches Labelrauschen verändert werden. Mit Labelrauschen sei das Muster deutlicher; ohne Rauschen könne der Anstieg klein und schwer zu erkennen sein.

Eine zweite Variante betrifft die Zahl der Datenbeispiele. Mehr Daten senkten laut Bericht grundsätzlich den Testfehler, verschöben aber zugleich die Interpolationsschwelle zu größeren Modellen, weil ein größeres Modell nötig sei, um die zusätzlichen Beispiele zu fitten. Bei mittleren Modellgrößen könnten sich diese Effekte überlagern: In einem beschriebenen Übersetzungsversuch mit Transformern und ohne zusätzliches Labelrauschen schnitt das Training mit 4,5-mal so vielen Beispielen schlechter ab. Das ist als Ergebnis für diesen Bereich und Versuch dargestellt, nicht als allgemeine Regel, dass mehr Daten grundsätzlich schaden.

Bei der epochenbezogenen Variante sinken und steigen Trainings- und Testfehler während des Trainings zunächst und sinken später erneut. Der Bericht beschreibt damit eine Situation, in der längeres Training eine zuvor sichtbare Überanpassung umkehren kann. Die Abbildungen ordnen Fehler dabei sowohl nach Modellgröße als auch nach Optimierungsschritten.

Als Erklärung vermuten die Autorinnen und Autoren, dass nahe der Interpolationsschwelle nur wenige passende Modelle existieren und das Erzwingen eines Fits auf verrauschte oder falsch spezifizierte Labels deren allgemeine Struktur beeinträchtigen könne. Bei überparametrisierten Modellen gebe es dagegen viele Lösungen, darunter solche mit guter Testleistung; die implizite Verzerrung des stochastischen Gradientenabstiegs führe möglicherweise zu solchen Lösungen. Der Bericht kennzeichnet diese Erklärung als Intuition und sagt ausdrücklich, dass die Mechanismen noch nicht vollständig verstanden seien. Er liefert hier keine umfassende methodische Dokumentation oder vollständige quantitative Auswertung; als zentrale Grenze bleibt die offene Frage, warum das Phänomen auftritt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Einordnung der Sammelfrage SF-V5 wurde eigenständig bewertet; Lunas Stufe 3 und ihr Anteil von 39 % wurden nicht übernommen. Eine Teilfrageneinordnung war nicht angegeben.

Im Bericht, aber nicht in der Zusammenfassung

  • Die kurze Zusammenfassung lässt aus, dass mehr Trainingsdaten die Testleistung verschlechtern können (Sample-wise Non-Monotonicity).
  • Beide Zusammenfassungen lassen aus, dass der Effekt laut Bericht häufig durch sorgfältige Regularisierung vermieden wird.
  • Beide Zusammenfassungen lassen aus, dass weder die klassische Annahme 'zu große Modelle sind schlechter' noch die moderne Annahme 'größer ist besser' gelten.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die mittlere Zusammenfassung sagt, der Bericht präsentiere die Ergebnisse 'nicht als universelle Regel'. Der Bericht schreibt dagegen, das Verhalten scheine 'fairly universal' zu sein, auch wenn die Ursachen unklar bleiben.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 38 %umfangreiche Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung Hintergrund, keine Belege

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →