Prompting Claude's long context window
Zusammenfassung
Kurz
Anthropic berichtet, dass passende Beispiele zu anderen Dokumentabschnitten und das Sammeln relevanter Zitate Claudes Antworten auf Fragen zu langen Texten meist verbesserten. Der Vorteil war vor allem bei Passagen am Anfang oder in der Mitte zu sehen; bei Passagen am Ende konnte die Leistung sinken, und fehlerhafte Fragen oder Musterlösungen begrenzen die Aussagekraft des Tests.
Mittel
Anthropic untersuchte, ob Claude Informationen aus langen Dokumenten besser wiederfindet, wenn es vor der Antwort passende Zitate sammelt und Beispiele korrekt beantworteter Fragen zu anderen Abschnitten erhält. Als Grundlage diente ein öffentliches Regierungsdokument vom Juli 2023, aus dem Claude Fragen erstellte. Zufällig zusammengesetzte Dokumente mit etwa 70.000 und 95.000 Tokens wurden mit verschiedenen Promptvarianten getestet, vor allem mit Claude Instant 1.2.
Laut Bericht beantwortete Claude rund 90 Prozent der Fragen richtig, wenn es nur den ursprünglichen Abschnitt sah. Ohne die gesuchte Passage lag die Trefferquote bei 34 Prozent statt der 25 Prozent, die reines Raten erwarten ließe. Anthropic führt dies möglicherweise auf Allgemeinwissen oder Hinweise in den Antwortoptionen zurück. Das Team räumte außerdem ein, dass manche Fragen oder Musterlösungen fehlerhaft sein könnten.
Passende Beispiele und das Sammeln relevanter Zitate verbesserten die Ergebnisse vor allem, wenn die Passage am Anfang oder in der Mitte stand; mehr passende Beispiele halfen. Allgemeine Beispiele brachten keinen erkennbaren Vorteil. Für Textstellen am Ende konnte die Leistung sinken, möglicherweise wegen des größeren Abstands zur Antwort. Bei Claude 2 stieg die angegebene Genauigkeit von 0,939 auf 0,961. Die Ergebnisse beziehen sich auf diese Versuchsanordnung; die im Bericht erwähnten Abbildungen sind im vorliegenden Text nicht sichtbar.
Ausführlich lesen
Der Bericht von Anthropic untersucht, wie Claude Informationen aus sehr langen Dokumenten zuverlässiger wiedergeben kann. Im Mittelpunkt stehen zwei Prompting-Techniken: Claude soll vor der Antwort passende Textstellen als Zitate herausziehen, und der Prompt soll Beispiele korrekt beantworteter Fragen zu anderen Dokumentabschnitten enthalten.
Für die Untersuchung nutzte Anthropic ein öffentliches Regierungsdokument mit Sitzungsprotokollen und Aktivitäten verschiedener Behörden vom 13. Juli 2023. Laut Bericht lag dieses Datum nach Claudes Trainingsdaten-Stichtag, wodurch bereits vorhandenes Wissen über den Dokumentinhalt weniger wahrscheinlich sein sollte. Das Team teilte das Dokument in Abschnitte und ließ Claude zu jedem Abschnitt fünf Multiple-Choice-Fragen mit je einer richtigen und drei falschen Antworten erstellen. Danach wurden Abschnitte zufällig zu langen Texten zusammengesetzt. Die Fragen sollten konkrete Informationen prüfen, ohne die Antwort schon in der Formulierung zu verraten. Der Bericht beschreibt dabei mögliche Schwächen automatisch erstellter Fragen: Sie können mit Allgemeinwissen lösbar, zu schwierig, durch auffällige Antwortoptionen leicht zu erraten oder wegen unklarer Verweise auf „diesen Abschnitt“ mehrdeutig sein.
Getestet wurde vor allem Claude Instant 1.2. Wenn das Modell nur den Abschnitt erhielt, aus dem eine Frage stammte, beantwortete es nach Anthropic ungefähr 90 Prozent der Fragen richtig. Die übrigen Fragen wurden aus der Langkontext-Auswertung ausgeschlossen. Bei einem zufälligen Abschnitt ohne die gesuchte Information lag die Trefferquote bei 34 Prozent, obwohl reines Raten bei vier Antwortmöglichkeiten 25 Prozent erwarten ließe. Anthropic vermutet als mögliche Gründe Allgemeinwissen und Hinweise in den Antwortoptionen. Eine Fußnote ergänzt, dass einige Fragen Zählaufgaben betrafen und dass teils sogar die zuvor festgelegte Musterlösung möglicherweise sachlich falsch war. Das bringt Rauschen in die Messung.
Die Langtexte umfassten ungefähr 75.000 oder 90.000 Tokens; ausgewertet wurden Dokumente mit etwa 70.000 und 95.000 Tokens. Verglichen wurden vier Promptvarianten: eine einfache Frage, zwei allgemeine Beispiele ohne Bezug zum Dokument, zwei passende Beispiele zu anderen Textabschnitten oder fünf solche Beispiele. Jede Variante wurde außerdem mit und ohne ein Scratchpad getestet, in dem Claude relevante Zitate sammeln sollte. Die gesuchte Passage lag jeweils am Anfang, in der Mitte oder am Ende. Für Claude 2 wurden nur die Basisstrategie und die bei Claude Instant beste Strategie berichtet.
Anthropic zufolge verbesserten Zitate im Scratchpad und passende Beispiele die Ergebnisse besonders für Passagen am Anfang und in der Mitte. Mehr passende Beispiele halfen laut Bericht bei beiden Kontextlängen; allgemeine Beispiele zu externem Wissen zeigten dagegen keinen erkennbaren Nutzen. Bei Passagen ganz am Ende konnte die Leistung durch Scratchpad und Beispiele sinken. Als mögliche Erklärung nennt Anthropic, dass die zusätzlichen Promptteile den Abstand zwischen Passage und Antwort vergrößern. Das Unternehmen empfiehlt daher, Anweisungen ans Promptende zu setzen. Für Claude 2 stieg die angegebene Genauigkeit mit der besten Prompttechnik von 0,939 auf 0,961; Anthropic deutet dies als 36 Prozent weniger Fehler.
Die Aussagen gelten für die beschriebene Multiple-Choice-Aufgabe und die untersuchten Modelle und Dokumentlängen. Der Bericht verweist auf Abbildungen und reproduzierbaren Code im Anthropic Cookbook; die Abbildungen selbst sind im vorliegenden Text nur als Bildverweise enthalten. Zudem nennt er eine frühere Studie mit einem anderen, U-förmigen Zusammenhang zwischen Fundstelle und Leistung und vermutet, dass die dort kürzeren Kontexte den Unterschied erklären könnten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung gibt den Bericht im Kern korrekt wieder und enthält keine erfundenen Angaben. Die drei Absätze sind nicht als eine einzige Zusammenfassung gekennzeichnet; die Bewertung bezieht sich auf den Gesamttext.
Im Bericht, aber nicht in der Zusammenfassung
- Das Vorgehen der Fragenerstellung („randomized collage“): Fragen wurden aus Abschnitten erzeugt und zu langen Dokumenten zusammengesetzt
- Der Grund für die Wahl von Claude Instant 1.2 statt Claude 2: schneller, und bei ihm zeigen sich Prompt-Verbesserungen deutlicher
- Die monotone Abnahme der Leistung bei Claude Instant mit wachsendem Abstand der Passage zum Prompt-Ende
- Die Verringerung der Fehlerquote bei Claude 2 um 36 Prozent
- Der Hinweis auf die Anthropic Cookbook mit reproduzierbarem Code
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
Unabhängig prüfen
- SF-P1 Unter welchen Bedingungen lassen Staaten und Labore sich gegenseitig prüfen: mit welchem Zugang, welchen Daten und welchen öffentlichen Ergebnissen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 50 %umfangreiche Belege
- amos 28 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 31 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 47 %Hintergrund, keine Belege
- JEV 33 %umfangreiche Belege
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 31 %Hintergrund, keine Belege
- JEV 47 %nur am Rande erwähnt
- amos 38 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 27 %einzelne zitierbare Belege
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 45 %gleiches Oberthema, hilft nicht
- d3-ultra
Weitere Berichte zu diesen Fragen
- Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- Alle Berichte im Archiv