Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
deepmind29. März 2024 · Q005670

Gecko: Versatile Text Embeddings Distilled from Large Language Models

deepmind.google · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der bereitgestellte Text ist nur das Abstract eines arXiv-Berichts. Es beschreibt Gecko als kompaktes Einbettungsmodell, dessen Trainingsdaten ein Sprachmodell erzeugt und anschließend neu kennzeichnet; laut Abstract erzielt Gecko auf MTEB starke Ergebnisse bei geringerer Einbettungsdimension, doch nähere Angaben zu Versuchen und Einschränkungen fehlen.

Mittel

Der bereitgestellte Text ist nur das Abstract eines auf arXiv genannten Berichts; weitere Einzelheiten aus der vollständigen Arbeit liegen nicht vor. Es stellt Gecko als kompaktes, vielseitiges Einbettungsmodell vor und schreibt dessen Abrufleistung der Übertragung von Wissen großer Sprachmodelle auf ein Abrufmodell zu. Das beschriebene Verfahren erzeugt zunächst vielfältige synthetische Anfrage-Text-Paare. Danach werden mögliche Passagen abgerufen und vom selben Sprachmodell als passende Beispiele oder schwierige negative Beispiele neu gekennzeichnet.

Laut Abstract übertrifft Gecko mit 256 Dimensionen auf dem MTEB alle dortigen Einträge mit 768 Dimensionen. Die 768-dimensionale Variante erreicht demnach durchschnittlich 66,31 Punkte und konkurriert mit Modellen, die siebenmal größer seien und fünfmal höher dimensionierte Einbettungen nutzen. Das Abstract nennt keine Details zu Versuchsaufbau, Vergleichsmodellen oder Unsicherheiten; die Leistungsbehauptungen lassen sich anhand des bereitgestellten Textes nicht weiter einordnen.

Ausführlich lesen

Der bereitgestellte Text ist nur das Abstract eines auf arXiv genannten Berichts zu Gecko; Angaben aus dem vollständigen Bericht liegen hier nicht vor. Das Abstract beschreibt Gecko als kompaktes und vielseitiges Modell zur Erzeugung von Texte-Einbettungen. Die Autoren behaupten, durch die Übertragung von Wissen großer Sprachmodelle auf ein Abrufmodell eine starke Suchleistung zu erreichen.

Das beschriebene Verfahren hat zwei Schritte: Zunächst erzeugt ein großes Sprachmodell vielfältige synthetische Paardaten. Anschließend werden für jede Anfrage mögliche Textpassagen abgerufen; dasselbe Sprachmodell bewertet und kennzeichnet daraus passende positive Passagen sowie schwierige negative Beispiele neu. Die Autoren stellen dies als Vorgehen zur Verbesserung der Datenqualität dar.

Als Ergebnis berichtet das Abstract, Gecko erreiche beim Massive Text Embedding Benchmark (MTEB) mit 256 Dimensionen einen höheren Wert als alle dortigen Einträge mit 768 Dimensionen. Die Variante mit 768 Dimensionen erziele einen durchschnittlichen Wert von 66,31 und konkurriere laut Autoren mit Modellen, die siebenmal größer seien und Einbettungen mit fünfmal so vielen Dimensionen verwendeten.

Die Aussagen zu Leistung und Vergleich stammen aus dem Abstract. Es enthält keine näheren Angaben zu Versuchsaufbau, Vergleichsmodellen, Unsicherheiten oder Einschränkungen; solche Details lassen sich aus dem bereitgestellten Text daher nicht beurteilen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Der Abschnitt Teilfragen war leer, daher wurde nur SF-H1 bewertet. Lunas Stufe 3 und der Anteil von 36 Prozent wurden nicht übernommen, weil der Bericht die Grenzfrage nicht mit Belegen behandelt.

Im Bericht, aber nicht in der Zusammenfassung

  • In der Kurzfassung fehlen die konkreten MTEB-Vergleichsaussagen: 256 Dimensionen schlagen Einträge mit 768 Dimensionen, 66,31 Punkte bei 768 Dimensionen und Konkurrenz zu siebenmal größeren Modellen mit fünfmal höher dimensionierten Einbettungen.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
Modelle teilen und schützen
  1. SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
    • clef 100 %kein Bezug
    • Luna 36 %Hintergrund, keine Belege
    • JEV 26 %einzelne zitierbare Belege
    • amos 24 %nur am Rande erwähnt
    • SubQ 100 %kein Bezug
    • drex 38 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 49 %einzelne zitierbare Belege
    • amos 25 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →