Model Distillation in the API
Zusammenfassung
Kurz
OpenAI beschreibt einen integrierten Ablauf, bei dem gespeicherte Modellantworten Datensätze für das Fine-Tuning günstigerer Modelle liefern und Evals die Ergebnisse messen. Die Ankündigung erläutert einen iterativen Beispielprozess und zeitgebundene Preisangebote, legt jedoch keine quantitativen Belege für erzielte Leistungs- oder Kostenvorteile vor.
Mittel
Der Bericht stellt OpenAIs integriertes Model-Distillation-Angebot vor. Es soll Entwicklern ermöglichen, Ausgaben leistungsstarker Modelle wie GPT‑4o oder o1-preview zum Fine-Tuning günstigerer Modelle wie GPT‑4o mini zu nutzen. OpenAI zufolge soll dies die manuelle Koordination von Datenerstellung, Training und Leistungsmessung vereinfachen.
Drei Bausteine greifen ineinander: Stored Completions speichert per Opt-in API-Eingaben und -Ausgaben als Datensätze; Evals (Beta) misst die Leistung anhand eigener Tests und Datensätze; Fine-Tuning verwendet die Beispiele zum Training. Der beschriebene Ablauf beginnt mit einer Evaluation des Zielmodells, erstellt dann mit GPT‑4o einen Datensatz aus realen Beispielen und trainiert damit GPT‑4o mini. Anschließend wird das Ergebnis gegen vorher festgelegte Kriterien geprüft. Bei schwachen Ergebnissen empfiehlt der Bericht, Daten, Trainingsparameter oder Beispiele anzupassen und den Vorgang zu wiederholen.
Laut Ankündigung war der Dienst für alle Entwickler verfügbar. Stored Completions waren kostenlos; Evals kosteten grundsätzlich die üblichen Modellpreise. Zeitlich begrenzte Gratis-Trainingskontingente und kostenlose Evaluationen unter Bedingungen wurden ebenfalls genannt. Der Bericht beschreibt den Ablauf, weist aber keine quantitativen Ergebnisse nach, die Leistungs- oder Kostenvorteile belegen.
Ausführlich lesen
Der Bericht kündigt OpenAIs Model-Distillation-Angebot als integrierten Ablauf auf der eigenen Plattform an. Dabei sollen Ausgaben leistungsfähiger Modelle wie GPT‑4o oder o1-preview genutzt werden, um kostengünstigere Modelle wie GPT‑4o mini für bestimmte Aufgaben durch Fine-Tuning zu verbessern. OpenAI beschreibt das Ziel, dort vergleichbare Leistung bei geringeren Kosten zu erreichen. Zuvor hätten Entwickler dafür mehrere getrennte Schritte manuell koordinieren müssen: Beispieldaten erzeugen, Modelle trainieren und Verbesserungen messen. Weil der Prozess wiederholt werden muss, sei dies aufwendig und fehleranfällig gewesen.
Das Angebot verbindet drei Bausteine. „Stored Completions“ speichert auf Wunsch API-Eingaben und -Ausgaben als Datengrundlage; laut Bericht lässt sich dies über `store: true` aktivieren und verursacht keine zusätzliche Latenz. Die gespeicherten Beispiele können geprüft, gefiltert und markiert werden. „Evals“ ist als Beta beschrieben und ermöglicht eigens erstellte Tests für bestimmte Aufgaben. Dafür lassen sich Stored Completions oder hochgeladene Datensätze verwenden; Evaluationen können laut OpenAI auch unabhängig von Fine-Tuning genutzt werden. Der dritte Baustein ist das bestehende Fine-Tuning-Angebot, in das Datensätze und Evaluationen eingebunden werden können.
Als Beispiel schlägt der Bericht vor, zunächst eine Evaluation für das Zielmodell GPT‑4o mini einzurichten. Anschließend erzeugt GPT‑4o mit realen Beispielen einen Datensatz. Mit diesem Datensatz wird GPT‑4o mini feinabgestimmt; danach prüft die Evaluation, ob das Ergebnis die festgelegten Leistungskriterien im Vergleich zu GPT‑4o erfüllt. Bei unzureichenden Ergebnissen sollen Datensatz, Trainingsparameter oder Beispiele für schwache Aufgabenbereiche überarbeitet und weitere Trainingsrunden durchgeführt werden. Die Evaluation soll bei der Entscheidung helfen, ob das Modell bereit für den Einsatz ist.
Zum Zeitpunkt der Ankündigung sei Model Distillation für alle Entwickler verfügbar und für alle OpenAI-Modelle nutzbar, darunter GPT‑4o und o1-preview. OpenAI nannte täglich zwei Millionen kostenlose Trainingstokens für GPT‑4o mini und eine Million für GPT‑4o bis zum 31. Oktober; danach sollten die üblichen Fine-Tuning-Preise gelten. Stored Completions seien kostenlos. Evals in der Beta würden nach den üblichen Modellpreisen für verwendete Tokens berechnet. Bis Jahresende seien bis zu sieben kostenlose Evaluationen pro Woche möglich, wenn Entwickler dem Teilen ihrer Evals mit OpenAI zustimmten; diese sollten zur Verbesserung und Evaluation künftiger Modelle verwendet werden.
Der Bericht erläutert Angebot und Beispielablauf, veröffentlicht aber keine quantitativen Versuchsergebnisse, die eine tatsächlich erreichte Leistungssteigerung oder Kostensenkung belegen. Die genannten Preise und Gratisangebote sind zeitgebundene Angaben aus der Ankündigung.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung liegt in zwei Fassungen (kurz und mittel) vor. Bewertet wurde die Gesamtheit beider, weil beide den Bericht treu wiedergeben und keine Angaben erfinden. Die fehlenden Punkte betreffen Randaspekte. Der Bericht selbst enthält keine quantitativen Belege, was beide Fassungen zutreffend festhalten.
Im Bericht, aber nicht in der Zusammenfassung
- Evals lassen sich auch unabhängig vom Fine-Tuning zur Leistungsmessung nutzen
- Nach Ablauf der Gratis-Kontingente gelten die normalen Fine-Tuning-Preise
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 27 %einzelne zitierbare Belege
- JEV 45 %einzelne zitierbare Belege
- amos 30 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4-T03 Welche neue Prüfung braucht jeder Einsatz, wenn Fähigkeiten zunehmend im Nachdenken des Modells während der Nutzung stecken statt in einem einmal trainierten Modell, und würden die für ein festes Modell gebauten Freigabetests das noch erfassen?
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 23 %gleiches Oberthema, hilft nicht
- Luna 32 %einzelne zitierbare Belege
- JEV 27 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 50 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-P3-T02 Welche unabhängig überprüfbaren Zusagen könnten Regierungen von ihren KI-Laboren zur Veröffentlichung verlangen, und wie sieht unabhängige Prüfung aus, wenn der Beleg, dass ein Modell seinen vorgesehenen Zielen und Werten folgt, nur vom trainierenden Labor kommt und Prüfer weder die Modellgewichte (die gelernten Parameter) noch die Trainingsdaten sehen?
- SF-P3-T07 Wird jede öffentliche Aussage, ein führendes KI-Modell sei „besser ausgerichtet“ als ein anderes (folge also seinen vorgesehenen Zielen und Werten besser), reproduzierbare Kriterien, externe Prüfungen und widersprechende Ergebnisse enthalten?
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 44 %gleiches Oberthema, hilft nicht
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 52 %gleiches Oberthema, hilft nicht
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 28 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T1-T05 Welche messbaren Vergleichswerte würden zeigen, dass die Ausrichtung der Modelle eines Labors an den vorgesehenen Zielen und Werten schneller vorankommt, als ihre Fähigkeiten wachsen, über das Fehlen öffentlicher Fehlschläge hinaus?
- SF-T1-T06 Welcher öffentliche Beleg zeigt, ob vereinbarte Grenzen eingehalten werden?
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %einzelne zitierbare Belege
- amos 25 %nur am Rande erwähnt
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 53 %gleiches Oberthema, hilft nicht
- SF-T3-T05 Wenn Selbstverbesserung schneller voranschreitet als der Beobachtungstakt fortlaufender Prüfer: Wie kurz muss dieser Takt sein, und wer darf zwischen zwei Beobachtungen eine Pause durchsetzen: der Prüfer, das Labor oder eine Stelle von außen?
- SF-T3-T08 Welche kontrollierten Versuche können Labore heute machen, um Selbstverbesserung nachzubilden, ohne eine unbeabsichtigte Beschleunigung zu riskieren?
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 43 %Hintergrund, keine Belege
- JEV 25 %einzelne zitierbare Belege
- amos 36 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 49 %gleiches Oberthema, hilft nicht
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 19 %Hintergrund, keine Belege
- Luna 36 %einzelne zitierbare Belege
- JEV 35 %einzelne zitierbare Belege
- amos 26 %einzelne zitierbare Belege
- SubQ 100 %kein Bezug
- drex 19 %gleiches Oberthema, hilft nicht
- d3-ultra 40 %einzelne zitierbare Belege
- Haiku-Prüfung nur am Rande erwähnt
- SF-H1-T03 Mit welchen technischen Kontrollen und Prüfspuren erkennen, melden und verhindern Labore unerlaubte Destillation und den Abfluss von Modellgewichten (den gelernten Parametern) über Grenzen hinweg?
- SF-H1-T04 Welche Maßnahmen für Transparenz über Destillationsverfahren könnten Labore einführen, um Sicherheitsbedenken zu begegnen, ohne geschützte Innovation preiszugeben?
- SF-H1-T05 Wie können Staaten zusammenarbeiten, um die Ausbreitung von Fähigkeiten zu beobachten, die durch Destillation aus großen, auf Sicherheit ausgerichteten Modellen in kleinere, weniger geregelte Modelle gelangen?
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 61 %einzelne zitierbare Belege
- JEV 36 %einzelne zitierbare Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 31 %gleiches Oberthema, hilft nicht
- d3-ultra 47 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung Hintergrund, keine Belege
- SF-H3-T02 Welche gemeinsamen Prüfstandards und Verfahren zum Herkunftsnachweis erkennen versteckte Verhaltensauslöser und eine systemweite Verschlechterung der Ausrichtung an den vorgesehenen Zielen und Werten, wenn Training immer mehr auf synthetischen Daten anderer Spitzenmodelle beruht?
- SF-H3-T03 Welche verbindliche Meldepflicht hat ein Labor, wenn ein Modell, das zum Teil mit synthetischen Daten eines fremden Spitzenmodells trainiert wurde, eine schlechtere Ausrichtung zeigt, die grenzüberschreitend Schaden verursacht, und welches Recht hat die Regierung des Landes, aus dem die Daten stammen, den betroffenen Trainingsablauf zu prüfen, ohne an die Modellgewichte (die gelernten Parameter) zu kommen?
- SF-H3-T04 Welches Protokoll zum Datenaustausch ließe ein Ministerium in jedem Staat prüfen, dass die Cyberfähigkeiten eines eingesetzten Modells denen der geprüften Fassung entsprechen, ohne Gewichte oder Nutzerdaten offenzulegen?
- SF-H3-T05 Wenn ein Modell nacheinander von Laboren in verschiedenen Rechtsordnungen feinjustiert, mit anderen Modellen zusammengeführt oder destilliert wird (ein weiteres Modell wird mit seinen Ausgaben trainiert) und jede Stufe Fähigkeiten hinzufügen oder Schutzvorkehrungen entfernen kann: Welches gemeinsame Herkunftsregister, das sich nur ergänzen und nicht ändern lässt, verfolgt eine Gefahr bis zu der Änderung zurück, die sie brachte, ohne die vollständigen Trainingsdaten eines einzelnen Labors zu verlangen? Und wenn dabei ein Verhalten entsteht, das keines der Ursprungslabore vorhergesehen hat: Welche Register- oder Vorabmeldepflicht gilt vor dem Einsatz, und welcher Staat ist bei grenzüberschreitendem Schaden zuständig?
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 56 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 44 %Hintergrund, keine Belege
- JEV 36 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4-T01 Was hieße die Formel von KI als „gemeinsamem Gut der ganzen Menschheit“ praktisch (Zugang, Teilen des Nutzens, gestaffelte Preise, Technologietransfer), so dass jeder Staat sie tatsächlich unterschreiben und prüfen könnte?
- SF-E4-T03 Wie können gemeinsame Sicherheitsregeln verhindern, dass hohe Kosten der Einhaltung den Markt auf wenige reiche Labore verengen, und trotzdem kleine Entwickler und Open-Source-Entwickler auf dieselbe Mindestschwelle für Sicherheit verpflichten?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv