Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
openai24. Januar 2022 · Q008083

Text and code embeddings by contrastive pre-training

openai.com · Originalbericht öffnen ↗

Zusammenfassung

Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.

Kurz

Der vorliegende Text ist nur ein Auszug mit Abstract, Autorenliste und Bildunterschriften. Der Abstract berichtet von kontrastiv vortrainierten Text- und Code-Embeddings und nennt Verbesserungen bei Klassifikation, semantischer Suche und Codesuche; Details zu Daten und Versuchsaufbau fehlen im Auszug.

Mittel

Der bereitgestellte Text ist nur ein Auszug: Er umfasst den Abstract, die Autorenliste und Bildunterschriften, nicht den vollständigen Bericht. Der Abstract beschreibt kontrastives Vortraining mit großen Mengen unüberwachter Daten, um Text- und Code-Embeddings zu erzeugen. Die Autorinnen und Autoren berichten, dass ihr bestes unüberwachtes Textmodell bei einer linearen Klassifikation über sieben Aufgaben hinweg frühere unüberwachte Modelle relativ um 4 Prozent und überwachte Modelle um 1,8 Prozent übertreffe. Bei semantischer Suche nennen sie relative Verbesserungen gegenüber den besten bisherigen unüberwachten Verfahren: 23,4 Prozent auf MSMARCO, 14,7 Prozent auf Natural Questions und 10,6 Prozent auf TriviaQA. Teilweise könnten die Text-Embeddings laut Abstract mit feinabgestimmten Modellen konkurrieren. Für Codesuche berichten die Autorinnen und Autoren bei Modellen, die mit Text-Code-Paaren trainiert wurden, einen relativen Vorteil von 20,8 Prozent gegenüber früherer Arbeit. Der Auszug enthält keine detaillierten Angaben zu Daten, Architektur oder Versuchsaufbau; die Ergebnisse sind daher hier nur als berichtete Aussagen wiederzugeben.

Ausführlich lesen

Der bereitgestellte Text ist nur ein Auszug: Er enthält den Abstract, eine Autorenliste und Bildunterschriften, nicht den vollständigen Bericht. Daher lassen sich Vorgehen und Ergebnisse nur in dem Umfang zusammenfassen, den der Abstract nennt.

Der Abstract berichtet, dass Textvektoren (Embeddings) unter anderem für semantische Suche und den Vergleich von Texten nützlich sind. Frühere Arbeiten hätten dafür meist Modelle entwickelt, die auf bestimmte Anwendungsfälle zugeschnitten sind und sich in Datenauswahl, Trainingsziel und Modellarchitektur unterscheiden. Als Ansatz beschreiben die Autorinnen und Autoren ein kontrastives Vortraining mit großen Mengen unüberwachter Daten. Nach ihrer Darstellung entstehen damit hochwertige Vektorrepräsentationen für Text und Code.

Für Text berichten sie Ergebnisse bei zwei Arten von Aufgaben. Bei einer linearen Klassifikation über sieben Aufgaben hinweg habe ihr bestes unüberwachtes Modell die bisher besten unüberwachten Text-Embeddings relativ um 4 Prozent übertroffen. Gegenüber dem besten überwachten Modell nennen sie einen relativen Vorteil von 1,8 Prozent. Bei groß angelegter semantischer Suche geben sie gegenüber den jeweils besten bisherigen unüberwachten Verfahren relative Verbesserungen von 23,4 Prozent bei MSMARCO, 14,7 Prozent bei Natural Questions und 10,6 Prozent bei TriviaQA an. Die Autorinnen und Autoren schreiben außerdem, dass dieselben Text-Embeddings teils mit feinabgestimmten Modellen konkurrieren könnten.

Für Code-Embeddings beschreibt der Abstract das Training mit Paaren aus Text und Code. Auf der Aufgabe Codesuche wird eine relative Verbesserung von 20,8 Prozent gegenüber früheren Arbeiten genannt.

Diese Zahlen und Leistungsbewertungen sind Aussagen des Abstracts. Der vorliegende Auszug erläutert weder die Trainingsdaten und Modellarchitektur im Detail noch Versuchsaufbau, Unsicherheiten oder die genaue Bedeutung der Vergleichswerte. Eine unabhängige Bewertung der Ergebnisse ist anhand des bereitgestellten Textes daher nicht möglich.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19 ungeprüft

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 7 von 7
Angezeigte Modelle
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
Frieden und Sicherheit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →