Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
anthropic19. September 2024 · Q002258

Contextual retrieval in AI systems

anthropic.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Anthropic beschreibt Contextual Retrieval als RAG-Erweiterung, bei der jeder Textausschnitt vor der Suche um knappen, dokumentbezogenen Kontext ergänzt wird. In den von Anthropic berichteten Tests sank die Rate übersehener relevanter Treffer unter den ersten 20 durch kontextuelle Einbettungen, BM25 und zusätzliches Reranking schrittweise von 5,7 auf 1,9 Prozent. Die Ergebnisse hängen laut Bericht von Datenbestand und Einstellungen ab; Reranking kann zudem Laufzeit und Kosten erhöhen.

Mittel

Anthropics Bericht stellt „Contextual Retrieval“ als Erweiterung für RAG-Systeme vor. Bei herkömmlicher RAG-Suche können Textausschnitte ihren Dokumentzusammenhang verlieren. Das Verfahren ergänzt deshalb jeden Ausschnitt vor der Suche um eine kurze, mithilfe von Claude erzeugte Erklärung, die ihn in den Gesamttext einordnet. Der ergänzte Text wird sowohl für semantische Einbettungen als auch für den BM25-Index verwendet.

Anthropic berichtet von Tests mit unterschiedlichen Wissensbereichen und Modellen. Gemessen wurde der Anteil relevanter Ausschnitte, der unter den ersten 20 Treffern fehlte. Gegenüber einer Ausfallrate von 5,7 Prozent sank sie laut Bericht mit kontextuellen Einbettungen auf 3,7 Prozent und mit zusätzlichem kontextuellem BM25 auf 2,9 Prozent. Ein weiterer Schritt, das Reranking, senkte sie auf 1,9 Prozent. Dabei werden zunächst viele Treffer gesammelt und anschließend die relevantesten ausgewählt; das kann jedoch Laufzeit und Kosten erhöhen.

Die Ergebnisse hängen laut Anthropic unter anderem von Textaufteilung, Einbettungsmodell, Suchanweisungen und Zahl der Treffer ab. Gemini und Voyage schnitten in den untersuchten Modellen besonders gut ab. Die Werte beziehen sich auf die getesteten Datensätze und die Suche unter den ersten 20 Treffern; Anthropic empfiehlt eigene Auswertungen für den jeweiligen Anwendungsfall. Für Wissensbestände unter 200.000 Token nennt der Bericht auch die direkte Aufnahme des Gesamtbestands in die Anfrage als mögliche Alternative.

Ausführlich lesen

Der Bericht von Anthropic beschreibt „Contextual Retrieval“, ein Verfahren, das die Suche in Retrieval-Augmented-Generation-Systemen (RAG) verbessern soll. RAG ergänzt eine Modellanfrage um passende Ausschnitte aus einer Wissensdatenbank. Dafür werden Dokumente in kleinere Textstücke zerlegt, als Vektoren für semantische Suche gespeichert und häufig zusätzlich mit BM25 durchsucht, das genaue Wörter und Formulierungen abgleicht. Laut Bericht können herkömmliche Verfahren den Zusammenhang eines Ausschnitts mit seinem Quelldokument verlieren. Dadurch bleibt etwa in einem Text über ein Umsatzwachstum unklar, auf welches Unternehmen und welchen Zeitraum sich die Aussage bezieht.

Contextual Retrieval soll diese Lücke schließen: Vor dem Erstellen der Einbettungen und des BM25-Indexes wird jedem Textstück eine kurze, auf Dokument und Ausschnitt bezogene Erklärung vorangestellt. Anthropic beschreibt dazu eine Claude-Anweisung, die den Gesamttext und den jeweiligen Ausschnitt erhält und einen knappen Suchkontext erzeugt. Dieser Kontext umfasst dem Bericht zufolge gewöhnlich 50 bis 100 Token. Mit Prompt-Caching werde das Ausgangsdokument nicht für jeden Ausschnitt erneut vollständig übertragen. Für ein beschriebenes Beispielszenario veranschlagt Anthropic die einmaligen Kosten zur Erzeugung der kontextualisierten Ausschnitte mit 1,02 US-Dollar je einer Million Dokument-Token.

Anthropic berichtet über Versuche mit verschiedenen Wissensbereichen, darunter Codebasen, Belletristik und wissenschaftliche Arbeiten, sowie unterschiedlichen Einbettungsmodellen, Suchverfahren und Messgrößen. Als Kennzahl diente 1 minus Recall@20: der Anteil relevanter Dokumente, der nicht unter den ersten 20 Ausschnitten gefunden wurde. In den beschriebenen Ergebnissen sank die Ausfallrate durch kontextuelle Einbettungen von 5,7 auf 3,7 Prozent, laut Bericht eine Verringerung um 35 Prozent. Die Kombination aus kontextuellen Einbettungen und kontextuellem BM25 senkte sie auf 2,9 Prozent, beziehungsweise um 49 Prozent. Mit zusätzlichem Reranking lag sie bei 1,9 Prozent, einer Verringerung um 67 Prozent gegenüber dem Ausgangswert.

Beim Reranking werden zunächst viele mögliche Treffer gesucht, im Versuch die 150 besten, und anschließend anhand ihrer Relevanz neu geordnet. Von den neu bewerteten Treffern werden dann die 20 bestplatzierten an das Sprachmodell weitergegeben. Anthropic verwendete dafür Cohere; ein Voyage-Reranker wurde laut Bericht nicht getestet. Das Verfahren kann die Laufzeit und Kosten erhöhen. Die passende Zahl der zuerst gesuchten und anschließend ausgewählten Ausschnitte müsse je nach Anwendungsfall erprobt werden.

Der Bericht nennt weitere Einflussfaktoren: Größe, Grenzen und Überlappung der Textstücke, das Einbettungsmodell, passende Anweisungen für den Kontextualisierer und die Zahl der übergebenen Ausschnitte. Gemini und Voyage hätten sich in den untersuchten Modellen besonders gut bewährt; 20 Ausschnitte schnitten in den getesteten Vergleichen besser ab als fünf oder zehn. Anthropic empfiehlt, die Ergebnisse für den jeweiligen Einsatzfall zu evaluieren. Für kleinere Wissensbestände unter 200.000 Token hält der Bericht es zudem für möglich, den gesamten Bestand direkt in die Anfrage aufzunehmen; Prompt-Caching könne dabei Latenz und Kosten reduzieren.

Die Aussagen beruhen auf den von Anthropic beschriebenen Versuchen und Vergleichen. Die Kennzahl bezieht sich auf die Suche unter den ersten 20 Treffern und belegt für sich genommen keine entsprechende Verbesserung der Antwortqualität in jedem Einsatz. Die Resultate können laut Bericht von Datenbestand, Modell, Aufteilung und Einstellungen abhängen; für die eigene Anwendung wird daher weiteres Experimentieren empfohlen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Bewertet wurden beide von Luna gelieferten Zusammenfassungen (kurz und mittel) gemeinsam; beide sind inhaltlich korrekt, lassen aber die Kostenangaben und die relativen Fehlerreduktionen aus. Die Einordnung folgt dem Bericht und nicht Lunas Stufen- oder Anteilsangaben.

Im Bericht, aber nicht in der Zusammenfassung

  • Prompt Caching senkt laut Bericht Latenz (mehr als 2x) und Kosten (bis 90 %) und macht Contextual Retrieval wirtschaftlich
  • Relative Fehlerreduktion: 49 % mit kontextuellen Einbettungen und kontextuellem BM25, 67 % mit zusätzlichem Reranking
  • Die einmalige Kontextgenerierung kostet laut Bericht etwa 1,02 Dollar pro Million Dokument-Token

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 32 %Hintergrund, keine Belege
    • JEV 45 %einzelne zitierbare Belege
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 44 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 72 %Hintergrund, keine Belege
    • JEV 25 %einzelne zitierbare Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 58 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 33 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 67 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 100 %kein Bezug
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →