Text and code embeddings by contrastive pre-training
Zusammenfassung
Für diesen Bericht lag nur ein Auszug oder keine vollständige Fassung vor. Die Zusammenfassung sagt das selbst.
Kurz
Der vorliegende Text ist nur ein Auszug mit Abstract, Autorenliste und Bildunterschriften. Der Abstract berichtet von kontrastiv vortrainierten Text- und Code-Embeddings und nennt Verbesserungen bei Klassifikation, semantischer Suche und Codesuche; Details zu Daten und Versuchsaufbau fehlen im Auszug.
Mittel
Der bereitgestellte Text ist nur ein Auszug: Er umfasst den Abstract, die Autorenliste und Bildunterschriften, nicht den vollständigen Bericht. Der Abstract beschreibt kontrastives Vortraining mit großen Mengen unüberwachter Daten, um Text- und Code-Embeddings zu erzeugen. Die Autorinnen und Autoren berichten, dass ihr bestes unüberwachtes Textmodell bei einer linearen Klassifikation über sieben Aufgaben hinweg frühere unüberwachte Modelle relativ um 4 Prozent und überwachte Modelle um 1,8 Prozent übertreffe. Bei semantischer Suche nennen sie relative Verbesserungen gegenüber den besten bisherigen unüberwachten Verfahren: 23,4 Prozent auf MSMARCO, 14,7 Prozent auf Natural Questions und 10,6 Prozent auf TriviaQA. Teilweise könnten die Text-Embeddings laut Abstract mit feinabgestimmten Modellen konkurrieren. Für Codesuche berichten die Autorinnen und Autoren bei Modellen, die mit Text-Code-Paaren trainiert wurden, einen relativen Vorteil von 20,8 Prozent gegenüber früherer Arbeit. Der Auszug enthält keine detaillierten Angaben zu Daten, Architektur oder Versuchsaufbau; die Ergebnisse sind daher hier nur als berichtete Aussagen wiederzugeben.
Ausführlich lesen
Der bereitgestellte Text ist nur ein Auszug: Er enthält den Abstract, eine Autorenliste und Bildunterschriften, nicht den vollständigen Bericht. Daher lassen sich Vorgehen und Ergebnisse nur in dem Umfang zusammenfassen, den der Abstract nennt.
Der Abstract berichtet, dass Textvektoren (Embeddings) unter anderem für semantische Suche und den Vergleich von Texten nützlich sind. Frühere Arbeiten hätten dafür meist Modelle entwickelt, die auf bestimmte Anwendungsfälle zugeschnitten sind und sich in Datenauswahl, Trainingsziel und Modellarchitektur unterscheiden. Als Ansatz beschreiben die Autorinnen und Autoren ein kontrastives Vortraining mit großen Mengen unüberwachter Daten. Nach ihrer Darstellung entstehen damit hochwertige Vektorrepräsentationen für Text und Code.
Für Text berichten sie Ergebnisse bei zwei Arten von Aufgaben. Bei einer linearen Klassifikation über sieben Aufgaben hinweg habe ihr bestes unüberwachtes Modell die bisher besten unüberwachten Text-Embeddings relativ um 4 Prozent übertroffen. Gegenüber dem besten überwachten Modell nennen sie einen relativen Vorteil von 1,8 Prozent. Bei groß angelegter semantischer Suche geben sie gegenüber den jeweils besten bisherigen unüberwachten Verfahren relative Verbesserungen von 23,4 Prozent bei MSMARCO, 14,7 Prozent bei Natural Questions und 10,6 Prozent bei TriviaQA an. Die Autorinnen und Autoren schreiben außerdem, dass dieselben Text-Embeddings teils mit feinabgestimmten Modellen konkurrieren könnten.
Für Code-Embeddings beschreibt der Abstract das Training mit Paaren aus Text und Code. Auf der Aufgabe Codesuche wird eine relative Verbesserung von 20,8 Prozent gegenüber früheren Arbeiten genannt.
Diese Zahlen und Leistungsbewertungen sind Aussagen des Abstracts. Der vorliegende Auszug erläutert weder die Trainingsdaten und Modellarchitektur im Detail noch Versuchsaufbau, Unsicherheiten oder die genaue Bedeutung der Vergleichswerte. Eine unabhängige Bewertung der Ergebnisse ist anhand des bereitgestellten Textes daher nicht möglich.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra