Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai25. Januar 2022 · Q009024

Introducing text and code embeddings

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

OpenAI beschreibt eine API, die Text und Code als Vektoren abbildet, damit semantische Ähnlichkeit, Suche und Klassifikation möglich werden. Der Bericht nennt bessere Benchmarkwerte und positive Kundenbeispiele, erläutert aber Grenzen der Übertragbarkeit und Versuchsdetails nur knapp.

Mittel

Der Bericht stellt einen 2022 eingeführten OpenAI-API-Endpunkt vor, der Texte und Code in hochdimensionale Vektoren umwandelt. Ähnliche Vektoren sollen semantisch ähnliche Inhalte anzeigen und Anwendungen wie Klassifikation, Clustering, Dokumentensuche und Code-Suche ermöglichen. OpenAI beschreibt drei Modellfamilien für Textähnlichkeit, Textsuche und Code-Suche; Vektoren lassen sich laut Bericht etwa mit dem Skalarprodukt vergleichen.

In drei Benchmarks meldet OpenAI höhere Werte als frühere Spitzenresultate: 92,2 statt 90,2 Prozent bei linearer Klassifikation, 52,8 statt 50,2 Prozent bei der BEIR-Suche und 93,5 statt 77,4 Prozent bei Code-Suche. Kundenbeispiele nennen unter anderem eine verbesserte Suche in astronomischen Meldungen und Lehrbüchern sowie mehr gefundene Kundenwünsche in Gesprächsprotokollen. FineTune Learning zufolge blieb die Leistung menschlicher Fachleute dabei höher.

Die Leistungswerte stammen aus den im Bericht angeführten Benchmarks und Unternehmensbeispielen. Versuchsdetails, Unsicherheiten und die Übertragbarkeit auf andere Einsatzfelder werden nur begrenzt erläutert; die Beispiele sind daher kein allgemeiner Leistungsnachweis.

Ausführlich lesen

Der Bericht vom Januar 2022 stellt einen neuen OpenAI-API-Endpunkt für Einbettungen von Text und Code vor. Dabei werden Eingaben mithilfe neuronaler Netze, die laut Bericht auf GPT‑3 aufbauen, in Vektoren mit vielen Dimensionen umgewandelt. Ähnliche Vektoren sollen semantisch ähnliche Inhalte repräsentieren. OpenAI beschreibt Anwendungen für Textähnlichkeit, Suche und Code-Suche sowie für Aufgaben wie Clustering, Klassifikation, Visualisierung und Anomalieerkennung. Für den Vergleich zweier Texte nennt der Bericht das Skalarprodukt der Vektoren; der Ähnlichkeitswert liege zwischen −1 und 1. Vorberechnete Einbettungen ermöglichten dabei schnelle Vergleiche.

Vorgestellt werden drei Modellfamilien: Textähnlichkeitsmodelle, Modelle für die semantische Suche in Dokumenten und Modelle, die Code zu natürlichsprachlichen Suchanfragen finden sollen. Zur Veranschaulichung zeigt der Bericht eine Visualisierung von 100 zufällig ausgewählten DBpedia-Beispielen aus fünf Kategorien. Deren ursprüngliche Vektoren mit 2048 Dimensionen wurden für die Darstellung per Hauptkomponentenanalyse auf drei Dimensionen reduziert; laut OpenAI bilden die Kategorien dabei klare Gruppen.

OpenAI berichtet von besseren Resultaten als frühere Spitzenwerte in drei Benchmarks. Bei einer linearen Klassifikation über sieben Datensätze nennt der Bericht 92,2 Prozent für das Textähnlichkeitsmodell text-similarity-davinci-001 gegenüber zuvor 90,2 Prozent. Im BEIR-Suchtest über elf Aufgaben seien mit text-search-davinci-{doc, query}-001 durchschnittlich 52,8 Prozent erreicht worden, verglichen mit 50,2 Prozent. Für Code-Suche über sechs Programmiersprachen nennt OpenAI 93,5 Prozent mit code-search-babbage-{doc, query}-001 gegenüber 77,4 Prozent zuvor. Die Zusammenfassung im Artikelkopf hebt insbesondere eine relative Verbesserung von 20 Prozent bei der Code-Suche hervor.

Drei Kundenbeispiele veranschaulichen mögliche Anwendungen. JetBrains Research habe astronomische Meldungen semantisch durchsuchbar gemacht und für die Zuordnung von Datenquellen mit K-means-Clustering eine Genauigkeit von 99,85 Prozent erzielt. FineTune Learning berichtet, Lehrbuchstellen anhand von Lernzielen mit 89,1 Prozent Top-5-Genauigkeit gefunden zu haben; der Bericht vergleicht dies mit 64,5 Prozent für Sentence-BERT und merkt an, dass menschliche Fachleute weiterhin besser seien. Fabius zufolge fand die Einbettungssuche doppelt so viele Beispiele für Funktionswünsche und bei abstrakten Anwendungsfällen sechs- bis zehnmal so viele wie zuvor.

Die Zahlen und Leistungsangaben werden im Bericht von OpenAI beziehungsweise den genannten Unternehmen angeführt. Die Darstellung nennt Datensätze und Vergleichswerte, erläutert aber nicht ausführlich Versuchsaufbau, Unsicherheiten oder die Übertragbarkeit der Ergebnisse auf andere Anwendungen. Die Kundenbeispiele sind illustrative Berichte und belegen für sich genommen keine allgemeine Leistungsgarantie. Für den Einsatz verweist der Text auf die damalige API-Dokumentation.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen; geprüft wurde vor allem die mittlere, die sachlich weitgehend stimmt. Die kurze Fassung behauptet fälschlich, der Bericht nenne Grenzen der Übertragbarkeit. Bei der Einordnung hat Luna beide Fragen mit Stufe 3 zu hoch bewertet, weil der Bericht dazu keine Belege enthält.

Im Bericht, aber nicht in der Zusammenfassung

  • 20 % relativer Vorsprung bei der Code-Suche
  • 99,85 % Genauigkeit bei der Datenquellen-Klassifikation per k-means
  • FineTune: 89,1 % Top-5-Genauigkeit gegenüber 64,5 % bei Sentence-BERT
  • Fabius: 2x mehr gefundene Beispiele allgemein, 6x bis 10x bei abstrakten Funktionswünschen

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Behauptung, der Bericht erläutere Versuchsdetails, Unsicherheiten und Übertragbarkeit nur begrenzt (so steht es nicht im Bericht, der etwa 100 Stichproben und PCA von 2048 auf 3 Dimensionen nennt)
  • Schlussfolgerung, die Beispiele seien kein allgemeiner Leistungsnachweis (Wertung von Luna, nicht aus dem Bericht)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 35 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 49 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 48 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 44 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 43 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →