Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
anthropic23. September 2023 · Q003432

Prompting Claude's long context window

anthropic.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Anthropic berichtet, dass passende Beispiele zu anderen Dokumentabschnitten und das Sammeln relevanter Zitate Claudes Antworten auf Fragen zu langen Texten meist verbesserten. Der Vorteil war vor allem bei Passagen am Anfang oder in der Mitte zu sehen; bei Passagen am Ende konnte die Leistung sinken, und fehlerhafte Fragen oder Musterlösungen begrenzen die Aussagekraft des Tests.

Mittel

Anthropic untersuchte, ob Claude Informationen aus langen Dokumenten besser wiederfindet, wenn es vor der Antwort passende Zitate sammelt und Beispiele korrekt beantworteter Fragen zu anderen Abschnitten erhält. Als Grundlage diente ein öffentliches Regierungsdokument vom Juli 2023, aus dem Claude Fragen erstellte. Zufällig zusammengesetzte Dokumente mit etwa 70.000 und 95.000 Tokens wurden mit verschiedenen Promptvarianten getestet, vor allem mit Claude Instant 1.2.

Laut Bericht beantwortete Claude rund 90 Prozent der Fragen richtig, wenn es nur den ursprünglichen Abschnitt sah. Ohne die gesuchte Passage lag die Trefferquote bei 34 Prozent statt der 25 Prozent, die reines Raten erwarten ließe. Anthropic führt dies möglicherweise auf Allgemeinwissen oder Hinweise in den Antwortoptionen zurück. Das Team räumte außerdem ein, dass manche Fragen oder Musterlösungen fehlerhaft sein könnten.

Passende Beispiele und das Sammeln relevanter Zitate verbesserten die Ergebnisse vor allem, wenn die Passage am Anfang oder in der Mitte stand; mehr passende Beispiele halfen. Allgemeine Beispiele brachten keinen erkennbaren Vorteil. Für Textstellen am Ende konnte die Leistung sinken, möglicherweise wegen des größeren Abstands zur Antwort. Bei Claude 2 stieg die angegebene Genauigkeit von 0,939 auf 0,961. Die Ergebnisse beziehen sich auf diese Versuchsanordnung; die im Bericht erwähnten Abbildungen sind im vorliegenden Text nicht sichtbar.

Ausführlich lesen

Der Bericht von Anthropic untersucht, wie Claude Informationen aus sehr langen Dokumenten zuverlässiger wiedergeben kann. Im Mittelpunkt stehen zwei Prompting-Techniken: Claude soll vor der Antwort passende Textstellen als Zitate herausziehen, und der Prompt soll Beispiele korrekt beantworteter Fragen zu anderen Dokumentabschnitten enthalten.

Für die Untersuchung nutzte Anthropic ein öffentliches Regierungsdokument mit Sitzungsprotokollen und Aktivitäten verschiedener Behörden vom 13. Juli 2023. Laut Bericht lag dieses Datum nach Claudes Trainingsdaten-Stichtag, wodurch bereits vorhandenes Wissen über den Dokumentinhalt weniger wahrscheinlich sein sollte. Das Team teilte das Dokument in Abschnitte und ließ Claude zu jedem Abschnitt fünf Multiple-Choice-Fragen mit je einer richtigen und drei falschen Antworten erstellen. Danach wurden Abschnitte zufällig zu langen Texten zusammengesetzt. Die Fragen sollten konkrete Informationen prüfen, ohne die Antwort schon in der Formulierung zu verraten. Der Bericht beschreibt dabei mögliche Schwächen automatisch erstellter Fragen: Sie können mit Allgemeinwissen lösbar, zu schwierig, durch auffällige Antwortoptionen leicht zu erraten oder wegen unklarer Verweise auf „diesen Abschnitt“ mehrdeutig sein.

Getestet wurde vor allem Claude Instant 1.2. Wenn das Modell nur den Abschnitt erhielt, aus dem eine Frage stammte, beantwortete es nach Anthropic ungefähr 90 Prozent der Fragen richtig. Die übrigen Fragen wurden aus der Langkontext-Auswertung ausgeschlossen. Bei einem zufälligen Abschnitt ohne die gesuchte Information lag die Trefferquote bei 34 Prozent, obwohl reines Raten bei vier Antwortmöglichkeiten 25 Prozent erwarten ließe. Anthropic vermutet als mögliche Gründe Allgemeinwissen und Hinweise in den Antwortoptionen. Eine Fußnote ergänzt, dass einige Fragen Zählaufgaben betrafen und dass teils sogar die zuvor festgelegte Musterlösung möglicherweise sachlich falsch war. Das bringt Rauschen in die Messung.

Die Langtexte umfassten ungefähr 75.000 oder 90.000 Tokens; ausgewertet wurden Dokumente mit etwa 70.000 und 95.000 Tokens. Verglichen wurden vier Promptvarianten: eine einfache Frage, zwei allgemeine Beispiele ohne Bezug zum Dokument, zwei passende Beispiele zu anderen Textabschnitten oder fünf solche Beispiele. Jede Variante wurde außerdem mit und ohne ein Scratchpad getestet, in dem Claude relevante Zitate sammeln sollte. Die gesuchte Passage lag jeweils am Anfang, in der Mitte oder am Ende. Für Claude 2 wurden nur die Basisstrategie und die bei Claude Instant beste Strategie berichtet.

Anthropic zufolge verbesserten Zitate im Scratchpad und passende Beispiele die Ergebnisse besonders für Passagen am Anfang und in der Mitte. Mehr passende Beispiele halfen laut Bericht bei beiden Kontextlängen; allgemeine Beispiele zu externem Wissen zeigten dagegen keinen erkennbaren Nutzen. Bei Passagen ganz am Ende konnte die Leistung durch Scratchpad und Beispiele sinken. Als mögliche Erklärung nennt Anthropic, dass die zusätzlichen Promptteile den Abstand zwischen Passage und Antwort vergrößern. Das Unternehmen empfiehlt daher, Anweisungen ans Promptende zu setzen. Für Claude 2 stieg die angegebene Genauigkeit mit der besten Prompttechnik von 0,939 auf 0,961; Anthropic deutet dies als 36 Prozent weniger Fehler.

Die Aussagen gelten für die beschriebene Multiple-Choice-Aufgabe und die untersuchten Modelle und Dokumentlängen. Der Bericht verweist auf Abbildungen und reproduzierbaren Code im Anthropic Cookbook; die Abbildungen selbst sind im vorliegenden Text nur als Bildverweise enthalten. Zudem nennt er eine frühere Studie mit einem anderen, U-förmigen Zusammenhang zwischen Fundstelle und Leistung und vermutet, dass die dort kürzeren Kontexte den Unterschied erklären könnten.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Die Zusammenfassung gibt den Bericht im Kern korrekt wieder und enthält keine erfundenen Angaben. Die drei Absätze sind nicht als eine einzige Zusammenfassung gekennzeichnet; die Bewertung bezieht sich auf den Gesamttext.

Im Bericht, aber nicht in der Zusammenfassung

  • Das Vorgehen der Fragenerstellung („randomized collage“): Fragen wurden aus Abschnitten erzeugt und zu langen Dokumenten zusammengesetzt
  • Der Grund für die Wahl von Claude Instant 1.2 statt Claude 2: schneller, und bei ihm zeigen sich Prompt-Verbesserungen deutlicher
  • Die monotone Abnahme der Leistung bei Claude Instant mit wachsendem Abstand der Passage zum Prompt-Ende
  • Die Verringerung der Fehlerquote bei Claude 2 um 36 Prozent
  • Der Hinweis auf die Anthropic Cookbook mit reproduzierbarem Code

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Fähigkeiten messen
Unabhängig prüfen
  1. SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 50 %umfangreiche Belege
    • amos 28 %Hintergrund, keine Belege
    • SubQ 100 %kein Bezug
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 47 %Hintergrund, keine Belege
    • JEV 33 %umfangreiche Belege
    • amos 39 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 56 %gleiches Oberthema, hilft nicht
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
  1. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 31 %Hintergrund, keine Belege
    • JEV 47 %nur am Rande erwähnt
    • amos 38 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra offen
    • Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
Offenlegung und Rechenschaft
  1. SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
    • clef 100 %kein Bezug
    • Luna 100 %kein Bezug
    • JEV 27 %einzelne zitierbare Belege
    • amos 43 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 45 %gleiches Oberthema, hilft nicht
    • d3-ultra offen

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →