Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
epoch25. April 2023 · Q005241

The Direct Approach

epoch.ai · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der Beitrag beschreibt einen theoretischen Ansatz, der aus Modellverlusten und Skalierungsgesetzen ableiten soll, wie schwer es sein könnte, KI für anspruchsvolle Aufgaben zu trainieren. Er liefert allenfalls eine Obergrenze und bleibt wegen fehlender Daten, unsicherer Übertragungen und großer Extrapolationsfehler mit erheblichen Vorbehalten behaftet; der verlinkte vollständige Bericht ist im bereitgestellten Text nicht enthalten.

Mittel

Der Webbeitrag „The Direct Approach“ skizziert einen theoretischen Weg, Skalierungsgesetze zur Abschätzung des Trainingsaufwands für anspruchsvolle KI-Aufgaben zu nutzen. Der verlinkte vollständige Bericht ist im bereitgestellten Text nicht enthalten.

Der Ansatz verbindet den Kreuzentropie-Verlust eines Modells mit der KL-Divergenz zwischen Modell und Trainingsverteilung. Daraus soll sich ableiten lassen, wie viele Ausgaben nötig sind, bis ein idealer Beobachter oder ein Mensch Modelltexte zuverlässig von Texten aus der Verteilung unterscheiden kann. Diese Zahl heißt „k-performance“; ein geschätzter menschlicher Verlangsamungsfaktor soll den Unterschied zwischen idealer und menschlicher Beurteilung erfassen. Ist die k-performance länger als eine typische Aufgabe, vermutet der Beitrag, dass das Modell diese Aufgabe angemessen übernehmen könnte. Daraus folgt eine Obergrenze für den Trainingsaufwand, nicht unbedingt der tatsächlich nötige Aufwand, da andere Trainingswege effizienter sein können.

Der Autor nennt einen testbaren Potenzgesetz-Zusammenhang zwischen Rechenaufwand und menschlicher Unterscheidungsleistung. Er betont aber erhebliche Grenzen: Es fehlen Skalierungsdaten für viele relevante Bereiche, etwa wissenschaftliche Arbeit; Übertragungen von Internetdaten und Extrapolationen über viele Größenordnungen sind unsicher. Die heutigen Schätzungen, nach denen ideale Prüfer nur wenige Tokens benötigen, sprechen laut Beitrag dafür, konkreten Zahlen wenig zu vertrauen. Der Ansatz sei vorerst eher ein theoretischer Rahmen als eine verlässliche Zeit- oder Rechenprognose.

Ausführlich lesen

Der Webbeitrag „The Direct Approach“ von Matthew Barnett stellt einen theoretischen Ansatz vor, um aus Skalierungsgesetzen grobe Obergrenzen für den Rechenaufwand abzuleiten, der nötig sein könnte, damit KI bestimmte anspruchsvolle Aufgaben bewältigt. Der verlinkte vollständige Bericht selbst ist im bereitgestellten Text nicht enthalten; zusammengefasst wird hier der Webbeitrag mit seiner Übersicht und den Antworten auf häufige Fragen.

Ausgangspunkt ist der Kreuzentropie-Verlust eines Modells auf einer Trainingsverteilung. Der Beitrag deutet diesen Verlust als Maß dafür, wie gut das Modell die Verteilung nachbildet. Bei perfekter Nachbildung entspräche der Verlust dem nicht weiter reduzierbaren Anteil. Daraus entwickelt der Ansatz die Annahme, dass Ununterscheidbarkeit auf ausreichend langen Ausgabefolgen auf Kompetenz bei den Aufgaben hindeuten kann, die in den Daten stecken. Das ist eine theoretische Annahme, keine im Beitrag als allgemein bewiesen dargestellte Tatsache.

Zur Quantifizierung verwendet der Ansatz die KL-Divergenz zwischen Trainingsverteilung und Modell. Sie soll anzeigen, wie viele Modell-Ausgaben ein idealer Beobachter im Mittel benötigt, um sie zuverlässig von Ausgaben aus der tatsächlichen Verteilung zu unterscheiden. Der Beitrag nennt diese Anzahl „k-performance“. Da Menschen vermutlich schlechter unterscheiden als ein idealer Beobachter, führt er einen „human slowdown factor“ ein. Zwei vereinfachte Modelle menschlicher Beurteilung – langsamere Aktualisierung oder die Beachtung nur eines Teils der verfügbaren Hinweise – führen laut Autor zu einem konstanten Verhältnis zwischen menschlicher und idealer Unterscheidungsleistung. KL-Skalierungsgesetze und experimentelle Schätzungen dieses Faktors könnten demnach zur Berechnung der k-performance dienen.

Wenn diese k-performance länger ist als eine typische Aufgabe, argumentiert der Beitrag, könnte ein Modell Menschen bei dieser Aufgabe wahrscheinlich angemessen ersetzen: Innerhalb der Aufgabenlänge wäre eine zuverlässige Unterscheidung der Modell-Ausgaben von der Referenzverteilung demnach nicht möglich. Daraus soll sich eine Obergrenze des Trainingsaufwands ergeben. Sie ist keine Vorhersage des tatsächlich nötigen Aufwands, denn direkteres Lernen mit Aufgaben- oder Belohnungssignalen könnte effizienter sein als das Nachahmen menschlicher Leistungen.

Als überprüfbare Vorhersage nennt der Beitrag einen Potenzgesetz-Zusammenhang zwischen Trainingsrechenaufwand und der Zahl der Ausgaben, die ein Mensch zum Erkennen der Modellverteilung braucht. Zugleich räumt er erhebliche Unsicherheit ein: Für viele relevante Datenverteilungen, insbesondere wissenschaftliches Arbeiten, fehlen Skalierungsdaten. Die Übertragung von Internetdaten auf andere Aufgaben ist laut Beitrag eine berechtigte Kritik und könnte spätere Aktualisierungen des Verfahrens erfordern. Auch eine starke Extrapolation über viele Größenordnungen und die Übertragung von durchschnittlichem Verlust auf besonders hochwertige wissenschaftliche Arbeit sind unsicher. Dass heutige Skalierungsgesetze für ideale Prüfer nur wenige Tokens bis zur Unterscheidung nahelegen, sei ausdrücklich ein Grund, den resultierenden Schätzungen wenig Vertrauen entgegenzubringen. Konkrete Zahlen wie 10^35 FLOP sollen daher nicht als belastbare Einzelprognosen verstanden werden. Der Ansatz wird als theoretischer Rahmen beschrieben, dessen Aussagekraft mit besseren Daten und Experimenten zunehmen könnte.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 23 %Hintergrund, keine Belege
    • amos 37 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Unabhängig prüfen
Tempo und Grenzen
  1. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 34 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 61 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 38 %beantwortet teilweise oder widerspricht
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 25 %gleiches Oberthema, hilft nicht
    • JEV 34 %Hintergrund, keine Belege
    • amos 50 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 51 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Modelle teilen und schützen
Beteiligung und Gemeinwohl
Information und Öffentlichkeit
  1. SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %Hintergrund, keine Belege
    • amos 27 %gleiches Oberthema, hilft nicht
    • SubQ 41 %gleiches Oberthema, hilft nicht
    • drex 37 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →