New and improved embedding model
Zusammenfassung
Kurz
OpenAI stellt `text-embedding-ada-002` als einheitliches Einbettungsmodell mit längerer Kontextlänge, kleineren Vektoren und deutlich niedrigeren Preisen vor. Laut den im Bericht genannten Benchmarks übertrifft es ältere Modelle bei mehreren Such- und Ähnlichkeitsaufgaben, liegt aber bei einer SentEval-Klassifikationsprüfung hinter `text-similarity-davinci-001`; die Preis- und Anwendungsangaben werden nicht unabhängig belegt.
Mittel
Der Bericht beschreibt `text-embedding-ada-002` als einheitliches OpenAI-Modell für Textsuche, Ähnlichkeitsvergleiche und Codesuche, das fünf ältere Modelle ersetzt. OpenAI zufolge übertrifft es diese bei Text- und Codesuche sowie Satzähnlichkeit; bei Textklassifikation sei die Leistung vergleichbar. Für einen BEIR-Vergleich nennt der Bericht 53,3 Punkte gegenüber 52,8 für das frühere Davinci-Suchmodell. Die Auswertung beruhe auf mehreren benannten Datensätzen, doch Details zur Methode und zu Unsicherheiten werden hier nicht ausgeführt.
Das Kontextlimit sei von 2.048 auf 8.192 gestiegen, die Vektoren seien mit 1.536 Dimensionen ein Achtel so groß wie die des älteren `davinci-001`. OpenAI gibt eine Preissenkung um 90 Prozent gegenüber Modellen gleicher Größe und um 99,8 Prozent gegenüber früheren Davinci-Modellen bei besserer oder ähnlicher Leistung an. Konkrete Preise nennt der Text nicht.
Als Grenze wird die SentEval-Klassifikationsprüfung genannt: Dort sei `text-embedding-ada-002` dem `text-similarity-davinci-001` nicht überlegen. Für diesen Anwendungsfall empfiehlt OpenAI einen direkten Vergleich. Kalendar AI und Notion erscheinen als Anwendungsbeispiele; die berichteten Vorteile werden nicht unabhängig belegt.
Ausführlich lesen
Der Bericht stellt OpenAIs Einbettungsmodell `text-embedding-ada-002` vor. Einbettungen sind numerische Darstellungen von Konzepten, mit denen sich Beziehungen zwischen Texten oder anderen Inhalten rechnerisch vergleichen lassen. Laut OpenAI wird das Modell für Textsuche, Ähnlichkeitssuche und Codesuche angeboten und führt fünf zuvor getrennte Modelle in einer einheitlichen Schnittstelle zusammen. Der Bericht nennt Anwendungen wie Personalisierung, Empfehlungen und Suche und zeigt einen kurzen Python-Aufruf der Embeddings-API.
OpenAI zufolge schneidet das neue Modell bei Textsuche, Codesuche und Satzähnlichkeit besser ab als die älteren Einbettungsmodelle; bei Textklassifikation sei die Leistung vergleichbar. Als Beleg für die Textsuche führt der Bericht einen BEIR-Wert von 53,3 an. Die verglichenen älteren Modelle erreichen dort 52,8 für `text-search-davinci`, 50,9 für `curie`, 50,4 für `babbage` und 49,0 für `ada`. Die Auswertung stütze sich laut Bericht auf Datensätze, die auch für die frühere Arbeit zu Einbettungen verwendet wurden. Für BEIR werden elf Aufgaben beziehungsweise Datensätze aufgeführt, darunter ArguAna, ClimateFEVER, HotpotQA und TRECCOVID. Der Bericht nennt jedoch in diesem Abschnitt weder Details zur Auswertungsmethode noch Unsicherheitsmaße.
Als technische Änderungen hebt OpenAI einen viermal größeren Kontext hervor: Die Länge steige von 2.048 auf 8.192. Die neuen Vektoren hätten 1.536 Dimensionen und seien damit ein Achtel so groß wie die des früheren Davinci-Modells `davinci-001`. Das solle die Verarbeitung längerer Dokumente erleichtern und Kosten bei der Nutzung von Vektordatenbanken senken. Preislich gibt OpenAI eine Reduktion um 90 Prozent gegenüber älteren Modellen gleicher Größe an. Zugleich behauptet das Unternehmen, das neue Modell erreiche gegenüber den früheren Davinci-Modellen eine bessere oder ähnliche Leistung bei 99,8 Prozent geringeren Kosten. Diese Angaben werden im Bericht nicht mit konkreten Preisen oder einer Kostenrechnung aufgeschlüsselt.
Der Bericht nennt eine wichtige Ausnahme: Bei der linearen Klassifikationsprüfung auf SentEval übertreffe `text-embedding-ada-002` `text-similarity-davinci-001` nicht. Für Klassifikationsaufgaben, bei denen eine einfache lineare Schicht auf den Vektoren trainiert wird, empfiehlt OpenAI deshalb, beide Modelle zu vergleichen und das leistungsstärkere auszuwählen. Für allgemeine Einschränkungen verweist der Text auf die Embeddings-Dokumentation, führt sie selbst aber nicht näher aus.
Als Anwendungsbeispiele führt der Bericht Kalendar AI und Notion an. Kalendar AI verwende Einbettungen laut eigener beziehungsweise im Bericht wiedergegebener Darstellung, um aus 340 Millionen Profilen passende Verkaufsgespräche zuzuordnen; dabei seien gegenüber dem früheren Vorgehen 40 bis 56 Prozent unerwünschter Zielkontakte vermieden worden. Notion wolle das neue Modell einsetzen, um die Suche über die bisherige Schlüsselwortsuche hinaus zu verbessern. Dies sind im Bericht genannte Unternehmensbeispiele und keine unabhängigen Wirksamkeitsnachweise.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Es sind zwei Fassungen von Lunas Zusammenfassung angegeben; beide wurden geprüft, das Urteil bezieht sich auf beide zusammen. Die Einordnung vergibt die Stufen unabhängig neu statt Lunas Stufen und Anteile zu übernehmen. Die Quellenangaben im Kopf des Berichts (Werkzeuge, Prüfvermerk, Hashes) wurden nicht inhaltlich bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Das Kalendar-AI-Beispiel mit 340 Mio. Profilen und der Reduktion unerwünschter Zielgruppenansprache um 40 bis 56 Prozent fehlt in beiden Fassungen.
- Die Ausführung zu Notion, die Suche über reine Schlagwortsuche hinaus verbessern soll, fehlt in der kurzen Fassung.
- Die konkreten BEIR-Werte 53,3 gegenüber 52,8 fehlen in der kurzen Fassung.
- Die Aussage, dass das Modell bei Textklassifikation vergleichbare Leistung erreicht, fehlt in der kurzen Fassung.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Behauptung, Preis- und Anwendungsangaben seien nicht unabhängig belegt, steht so nicht im Bericht; der Bericht enthält keine solche Einschätzung.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 50 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 45 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 40 %Hintergrund, keine Belege
- JEV 23 %einzelne zitierbare Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 38 %Hintergrund, keine Belege
- JEV 35 %einzelne zitierbare Belege
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 28 %einzelne zitierbare Belege
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv