Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai1. Oktober 2024 · Q009239

Model Distillation in the API

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI beschreibt einen integrierten Ablauf, bei dem gespeicherte Modellantworten Datensätze für das Fine-Tuning günstigerer Modelle liefern und Evals die Ergebnisse messen. Die Ankündigung erläutert einen iterativen Beispielprozess und zeitgebundene Preisangebote, legt jedoch keine quantitativen Belege für erzielte Leistungs- oder Kostenvorteile vor.

Mittel

Der Bericht stellt OpenAIs integriertes Model-Distillation-Angebot vor. Es soll Entwicklern ermöglichen, Ausgaben leistungsstarker Modelle wie GPT‑4o oder o1-preview zum Fine-Tuning günstigerer Modelle wie GPT‑4o mini zu nutzen. OpenAI zufolge soll dies die manuelle Koordination von Datenerstellung, Training und Leistungsmessung vereinfachen.

Drei Bausteine greifen ineinander: Stored Completions speichert per Opt-in API-Eingaben und -Ausgaben als Datensätze; Evals (Beta) misst die Leistung anhand eigener Tests und Datensätze; Fine-Tuning verwendet die Beispiele zum Training. Der beschriebene Ablauf beginnt mit einer Evaluation des Zielmodells, erstellt dann mit GPT‑4o einen Datensatz aus realen Beispielen und trainiert damit GPT‑4o mini. Anschließend wird das Ergebnis gegen vorher festgelegte Kriterien geprüft. Bei schwachen Ergebnissen empfiehlt der Bericht, Daten, Trainingsparameter oder Beispiele anzupassen und den Vorgang zu wiederholen.

Laut Ankündigung war der Dienst für alle Entwickler verfügbar. Stored Completions waren kostenlos; Evals kosteten grundsätzlich die üblichen Modellpreise. Zeitlich begrenzte Gratis-Trainingskontingente und kostenlose Evaluationen unter Bedingungen wurden ebenfalls genannt. Der Bericht beschreibt den Ablauf, weist aber keine quantitativen Ergebnisse nach, die Leistungs- oder Kostenvorteile belegen.

Ausführlich lesen

Der Bericht kündigt OpenAIs Model-Distillation-Angebot als integrierten Ablauf auf der eigenen Plattform an. Dabei sollen Ausgaben leistungsfähiger Modelle wie GPT‑4o oder o1-preview genutzt werden, um kostengünstigere Modelle wie GPT‑4o mini für bestimmte Aufgaben durch Fine-Tuning zu verbessern. OpenAI beschreibt das Ziel, dort vergleichbare Leistung bei geringeren Kosten zu erreichen. Zuvor hätten Entwickler dafür mehrere getrennte Schritte manuell koordinieren müssen: Beispieldaten erzeugen, Modelle trainieren und Verbesserungen messen. Weil der Prozess wiederholt werden muss, sei dies aufwendig und fehleranfällig gewesen.

Das Angebot verbindet drei Bausteine. „Stored Completions“ speichert auf Wunsch API-Eingaben und -Ausgaben als Datengrundlage; laut Bericht lässt sich dies über `store: true` aktivieren und verursacht keine zusätzliche Latenz. Die gespeicherten Beispiele können geprüft, gefiltert und markiert werden. „Evals“ ist als Beta beschrieben und ermöglicht eigens erstellte Tests für bestimmte Aufgaben. Dafür lassen sich Stored Completions oder hochgeladene Datensätze verwenden; Evaluationen können laut OpenAI auch unabhängig von Fine-Tuning genutzt werden. Der dritte Baustein ist das bestehende Fine-Tuning-Angebot, in das Datensätze und Evaluationen eingebunden werden können.

Als Beispiel schlägt der Bericht vor, zunächst eine Evaluation für das Zielmodell GPT‑4o mini einzurichten. Anschließend erzeugt GPT‑4o mit realen Beispielen einen Datensatz. Mit diesem Datensatz wird GPT‑4o mini feinabgestimmt; danach prüft die Evaluation, ob das Ergebnis die festgelegten Leistungskriterien im Vergleich zu GPT‑4o erfüllt. Bei unzureichenden Ergebnissen sollen Datensatz, Trainingsparameter oder Beispiele für schwache Aufgabenbereiche überarbeitet und weitere Trainingsrunden durchgeführt werden. Die Evaluation soll bei der Entscheidung helfen, ob das Modell bereit für den Einsatz ist.

Zum Zeitpunkt der Ankündigung sei Model Distillation für alle Entwickler verfügbar und für alle OpenAI-Modelle nutzbar, darunter GPT‑4o und o1-preview. OpenAI nannte täglich zwei Millionen kostenlose Trainingstokens für GPT‑4o mini und eine Million für GPT‑4o bis zum 31. Oktober; danach sollten die üblichen Fine-Tuning-Preise gelten. Stored Completions seien kostenlos. Evals in der Beta würden nach den üblichen Modellpreisen für verwendete Tokens berechnet. Bis Jahresende seien bis zu sieben kostenlose Evaluationen pro Woche möglich, wenn Entwickler dem Teilen ihrer Evals mit OpenAI zustimmten; diese sollten zur Verbesserung und Evaluation künftiger Modelle verwendet werden.

Der Bericht erläutert Angebot und Beispielablauf, veröffentlicht aber keine quantitativen Versuchsergebnisse, die eine tatsächlich erreichte Leistungssteigerung oder Kostensenkung belegen. Die genannten Preise und Gratisangebote sind zeitgebundene Angaben aus der Ankündigung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung liegt in zwei Fassungen (kurz und mittel) vor. Bewertet wurde die Gesamtheit beider, weil beide den Bericht treu wiedergeben und keine Angaben erfinden. Die fehlenden Punkte betreffen Randaspekte. Der Bericht selbst enthält keine quantitativen Belege, was beide Fassungen zutreffend festhalten.

Im Bericht, aber nicht in der Zusammenfassung

  • Evals lassen sich auch unabhängig vom Fine-Tuning zur Leistungsmessung nutzen
  • Nach Ablauf der Gratis-Kontingente gelten die normalen Fine-Tuning-Preise

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
  1. SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
    • clef 100 %kein Bezug
    • Luna 27 %einzelne zitierbare Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 30 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

    • SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen? Luna: Stufe 3 · 30 % · Hintergrund, keine Belege
Unabhängig prüfen
  1. SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
    • clef 100 %kein Bezug
    • Luna 28 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 48 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 48 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
  2. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 23 %gleiches Oberthema, hilft nicht
    • Luna 32 %einzelne zitierbare Belege
    • JEV 27 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 50 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Tempo und Grenzen
  1. SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
    • clef 100 %kein Bezug
    • Luna 39 %Hintergrund, keine Belege
    • JEV 28 %Hintergrund, keine Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

    • SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus? Luna: Stufe 3 · 32 % · Hintergrund, keine Belege
  2. SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 26 %einzelne zitierbare Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 39 %gleiches Oberthema, hilft nicht
    • d3-ultra 53 %gleiches Oberthema, hilft nicht

Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 36 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra 49 %gleiches Oberthema, hilft nicht

    • SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten? Luna: Stufe 3 · 39 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 1 · gleiches Oberthema, hilft nicht
    • SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar? Luna: Stufe 3 · 38 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 2 · nur am Rande erwähnt
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 19 %Hintergrund, keine Belege
    • Luna 36 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 26 %einzelne zitierbare Belege
    • SubQ 100 %kein Bezug
    • drex 19 %gleiches Oberthema, hilft nicht
    • d3-ultra 40 %einzelne zitierbare Belege
    • Haiku-Prüfung nur am Rande erwähnt

  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 61 %einzelne zitierbare Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 31 %gleiches Oberthema, hilft nicht
    • d3-ultra 47 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung Hintergrund, keine Belege

    • SF-H3-T02 Welche gemeinsamen Prüfstandards und Verfahren zum Herkunftsnachweis erkennen versteckte Verhaltensauslöser und eine systemweite Verschlechterung der Ausrichtung an den vorgesehenen Zielen und Werten, wenn Training immer mehr auf synthetischen Daten anderer Spitzenmodelle beruht? Luna: Stufe 3 · 35 % · Hintergrund, keine Belege · Haiku-Prüfung: Stufe 3 · Hintergrund, keine Belege
Offenlegung und Rechenschaft
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 44 %Hintergrund, keine Belege
    • JEV 36 %einzelne zitierbare Belege
    • amos 41 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →