https://arxiv.org/pdf/2201.10005
Zusammenfassung
Kurz
Der Bericht beschreibt kontrastiv trainierte Einbettungsmodelle für Text und Code, die laut den berichteten Benchmarks besonders bei Klassifikation und Suche starke Ergebnisse erzielen; bei Code-Suche wird ein relativer Zuwachs von 20,8 Prozent gemeldet. Schwächen sind die geringere Leistung bei Satzähnlichkeit, der hohe Rechenaufwand und mögliche Verzerrungen aus den Trainingsdaten.
Mittel
Der Bericht untersucht kontrastives Vortraining für Text- und Code-Einbettungen. Transformer werden mit vortrainierten Sprachmodellen initialisiert und auf natürlich vorkommenden Paaren trainiert: benachbarten Internettexten beziehungsweise Funktions-Docstrings samt Code. In großen Batches dienen andere Paare als negative Beispiele. Laut den Autorinnen und Autoren sind große Batches für gute Leistung wesentlich.
Bei sieben Klassifikationsaufgaben erzielt das größte unüberwachte Textmodell im Mittel einen relativen Vorsprung von 4 Prozent gegenüber dem zuvor besten unüberwachten und 1,8 Prozent gegenüber dem besten überwachten Einbettungsmodell. Auch bei mehreren großen Suchbenchmarks berichtet die Studie deutliche Verbesserungen; im BEIR-Transfervergleich beträgt der relative Vorsprung gegenüber dem vorherigen besten Einbettungsverfahren 5,2 Prozent. Im rein unüberwachten BEIR-Vergleich bleibt BM25 jedoch insgesamt stärker. Für Code-Suche auf CodeSearchNet wird ein relativer Zuwachs von 20,8 Prozent gemeldet, ohne erkennbaren Nutzen durch ein größeres Code-Modell.
Eine klare Schwäche zeigt sich bei Satzähnlichkeit: Dort liegen die Textmodelle hinter früheren Spitzenverfahren, und längeres Training verbessert Suche und Klassifikation, verschlechtert aber diese Aufgabe. Der Bericht nennt außerdem hohen Rechenbedarf und mögliche übernommene gesellschaftliche Verzerrungen als Grenzen und Risiken. Die Ergebnisse gelten für die beschriebenen Benchmarks; die Autorinnen und Autoren weisen auf die uneindeutige Definition von Satzähnlichkeit hin.
Ausführlich lesen
Der Bericht stellt ein Verfahren vor, mit dem Text- und Code-Einbettungen durch kontrastives Vortraining auf unbeschrifteten Daten gelernt werden. Ziel sind Vektorrepräsentationen, die sich unter anderem für Klassifikation und die Suche nach semantisch passenden Texten oder Code eignen. Die Autorinnen und Autoren berichten, dass ein einzelnes Textmodell über mehrere Aufgabenbereiche hinweg gute Ergebnisse erzielt.
Für das Training werden natürlich vorkommende Paare verwendet: Bei Text gelten benachbarte Internettexte als positive Paare; beim Code bilden eine Funktionsbeschreibung im Docstring und der zugehörige Programmcode ein Paar. Ein Transformer verarbeitet beide Elemente unabhängig und ordnet jedem einen Vektor zu. Trainiert wird mit einem kontrastiven Ziel: Die Paare innerhalb eines Batches dienen als positive Beispiele, die übrigen Batch-Elemente als negative Beispiele. Die Modelle werden mit vortrainierten Sprachmodellen initialisiert. Laut Bericht sind große Batches für gute Resultate entscheidend. Die Textmodelle umfassen Größen von 300 Millionen bis 175 Milliarden Parametern.
In den berichteten Tests verbessert sich die Leistung der Textmodelle bei linearer Klassifikation im Allgemeinen mit zunehmender Modellgröße. Über sieben SentEval-Klassifikationsaufgaben hinweg nennt der Bericht für das größte unüberwachte Modell einen relativen Zuwachs von 4 Prozent gegenüber dem zuvor besten unüberwachten und 1,8 Prozent gegenüber dem besten überwachten Einbettungsmodell. Bei groß angelegter Suche meldet er relative Verbesserungen von 23,4 Prozent auf MSMARCO, 14,7 Prozent auf Natural Questions und 10,6 Prozent auf TriviaQA gegenüber den jeweiligen früheren unüberwachten Verfahren. Auf TriviaQA sei das Modell zudem mit feinabgestimmten Ansätzen konkurrenzfähig. Für elf Zero-Shot-Suchaufgaben im BEIR-Benchmark berichten die Autorinnen und Autoren nach Feinabstimmung auf MSMARCO einen relativen Vorteil von 5,2 Prozent gegenüber dem zuvor besten Einbettungsverfahren. Im unüberwachten BEIR-Vergleich bleibt BM25 insgesamt vorn.
Auch für die Code-Suche wird ein Leistungszuwachs gemeldet: Auf CodeSearchNet übertrifft das Code-Einbettungsmodell laut Bericht die bisherige Bestleistung relativ um 20,8 Prozent. Anders als bei Text zeigt eine Vergrößerung des Code-Modells von 300 Millionen auf 1,2 Milliarden Parametern dabei keinen erkennbaren Vorteil. Bei Satzähnlichkeitsaufgaben schneiden die Textmodelle schlechter ab als die zuvor besten Verfahren. Der Bericht vermutet, dass diese Benchmarks Ähnlichkeit anders definieren als Suchaufgaben; außerdem sinkt die Satzähnlichkeitsleistung im Training, während Suche und Klassifikation besser werden.
Als Grenzen und Risiken benennt der Bericht den hohen Rechenaufwand großer Batches und Modelle sowie mögliche gesellschaftliche Verzerrungen, die aus den Trainingsdaten in Einbettungen und nachgelagerte Anwendungen übertragen werden können. Er empfiehlt deshalb bessere Verfahren zur Bias-Messung und -Minderung sowie eine vorsichtige Überwachung riskanter Anwendungen. Die dargestellten Ergebnisse beziehen sich auf die im Bericht genannten Benchmarks und Vergleiche; der Text weist selbst darauf hin, dass Satzähnlichkeit nicht eindeutig definiert sei.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Einordnung überschätzt bei SF-H2, SF-V5-T02 und SF-V1-T10 den Bezug des Berichts; der Bericht ist ein Paper zu Text- und Code-Einbettungen, das diese Fragen kaum behandelt.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kurzfassung nennt nicht, dass große Batches für gute Leistung zentral sind, und auch nicht die Initialisierung mit GPT- bzw. Codex-Modellen.
- Die Kurzfassung erwähnt die Suchergebnisse (MSMARCO, Natural Questions, TriviaQA) nicht.
- Die mittlere Fassung lässt die Zero-Shot- und k-NN-Ergebnisse zu SST-2 aus, die der Bericht als bemerkenswert hervorhebt.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 32 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 42 %Hintergrund, keine Belege
- JEV 25 %Hintergrund, keine Belege
- amos 26 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 26 %einzelne zitierbare Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V1-T02 Welche Belege würden Vertrauen in ein KI-System rechtfertigen, über seine flüssigen Erklärungen hinaus?
- SF-V1-T03 Was ist das Kleinste, das ein Modell öffentlich vorlegen kann (ein Test, ein Protokoll, eine Spur), das als Beleg für Ausrichtung an den vorgesehenen Zielen und Werten zählt und nicht nur für Leistung?
- SF-V1-T07 Lieber ein Modell, das immer seinen Lösungsweg zeigen muss, oder eines, das im Stillen mehr kann: Welches Risiko nimmt man in Kauf?
- SF-V1-T10 Kann etwas, das Modelle über sich und ihre Absichten sagen, als Beleg für Ausrichtung zählen, wenn es nur weiterer erzeugter Text ist, und welche Verfahren machen solche Selbstauskünfte vertrauenswürdig statt nur flüssig?
- SF-V1-T13 Wenn sich vorgeführte und tatsächlich vertretene Tugend im Text nicht unterscheiden lassen: Soll der Unterschied trotzdem bestimmen, wie man Modelle baut und regelt?
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 28 %Hintergrund, keine Belege
- JEV 25 %einzelne zitierbare Belege
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V4-T01 Falls ein Modell kein durchgehendes Selbst hat: Kann es überhaupt an den vorgesehenen Zielen und Werten ausgerichtet sein, oder nur seine Ausgaben?
- SF-V4-T03 Ist Intelligenz, die „eher gewachsen als entworfen“ ist, ein Grund für mehr Vorsicht oder dafür, Modelle wie ein Ökosystem zu pflegen?
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 57 %einzelne zitierbare Belege
- JEV 46 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-V5-T01 Was sollte ein Modell schon heute tun, nicht erst bei rekursiver Selbstverbesserung (wenn KI ihre eigene Weiterentwicklung selbst vorantreibt), um äußerste Vorsicht angesichts rasch wachsender maschineller Intelligenz ernst zu nehmen?
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 37 %einzelne zitierbare Belege
- JEV 34 %einzelne zitierbare Belege
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 44 %gleiches Oberthema, hilft nicht
- drex 43 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung nur am Rande erwähnt
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 56 %einzelne zitierbare Belege
- JEV 35 %beantwortet teilweise oder widerspricht
- amos 26 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 34 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H3-T06 Welcher unabhängig prüfbare Mindestbeleg zeigt, dass eine bestimmte Person, Organisation oder ein geschützter Datensatz aus einem veröffentlichten Modell und seinen Adaptern (Zusatzmodulen) verlernt wurde, und welches Restrisiko einer Extraktion lässt sich womöglich nie auf null senken?
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 76 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-E4-T02 Welche konkreten Mechanismen (bezahlbarer Zugang zu Modellen, Rechenleistung im öffentlichen Interesse, Technologietransfer) sollen Sicherheitsregeln begleiten, damit sie Monopole nicht vertiefen und Länder mit wenig Mitteln nicht abhängig zurücklassen?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 44 %nur am Rande erwähnt
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- Alle Berichte im Archiv