I Got a Chance to Build A RAG for Legal Docs
Zusammenfassung
Kurz
Der Autor beschreibt seine noch vorläufige Umsetzung eines RAG für Rechtsdokumente: Dokumente sollen strukturiert normalisiert, rechtlich wichtige Versionsinhalte bewahrt und Artikel als eigenständige, kontextreiche Chunks gespeichert werden. Für den Abruf empfiehlt er Anfrageplanung mit Versionsfiltern, Vektorsuche und Reranking; eine systematische Wirksamkeitsmessung berichtet der Artikel nicht.
Mittel
Der Autor schildert seine derzeitige Gestaltung eines vektorbasierten RAG für Rechtsdokumente mit AWS Bedrock Knowledge Bases. Sein Schwerpunkt liegt auf der Aufbereitung, dem Chunking und dem Abruf; die Lösung sei noch ausbaufähig.
Unterschiedliche Formate sollen in eine einheitliche, strukturierte Darstellung überführt werden. Rechtlich bedeutsame Wiederholungen aus älteren Gesetzesfassungen bleiben erhalten, während Layoutbestandteile entfernt werden. Besonders PDFs erfordern laut Autor eine Rekonstruktion der Struktur. Für japanische Texte nennt er unter anderem Unicode-Normalisierung, die Umwandlung von Zahl- und Datumsangaben sowie das Zusammenführen weicher Zeilenumbrüche. Tabellen sollen suchgerecht als eigenständige Einheiten samt aussagekräftigem Kontext aufbereitet, Fußnoten ihren Bezugstexten zugeordnet und Querverweise nach dem Abruf über Metadaten aufgelöst werden.
Beim Chunking sollen Artikel möglichst einzeln und mit wiederholtem Dokument- und Kapitelkontext vorliegen. Eine eigene Lambda-Transformation setzt diese Regeln um; alternativ können Dokumente vorab in Artikeldateien zerlegt werden. Für den Abruf schlägt der Autor eine vorgeschaltete Anfrageplanung mit Filtern, eine breitere Vektorsuche und ein anschließendes Reranking vor. Alte Rechtsfassungen sollen für historische Fragen verfügbar bleiben; ohne zeitlichen Hinweis soll die aktuelle Fassung gelten. Der Artikel liefert persönliche Designentscheidungen und Beispiele, aber keine systematische Auswertung ihrer Wirksamkeit.
Ausführlich lesen
Der Autor beschreibt seine derzeitige Vorgehensweise beim Aufbau eines vektorbasierten RAG-Systems für Rechtsdokumente. Er will allgemeine Empfehlungen zur Dokumentaufbereitung, zum Chunking und zum Abruf in konkrete Arbeitsschritte übersetzen. Die Lösung ist nach eigener Aussage noch verbesserungsfähig. Als technische Grundlage nutzt er AWS Bedrock Knowledge Bases; die Aufnahme und das Erzeugen der Embeddings überlässt er dem Dienst. Im Mittelpunkt stehen daher Normalisierung, Chunking und Retrieval.
Bei der Normalisierung sollen unterschiedliche Eingabeformate wie PDF, HTML und XML in eine einheitliche, strukturtragende Darstellung überführt werden. Überschriften, Absätze, Listen, Tabellen und Verweise bleiben erhalten; Layout, Bilder, Wasserzeichen sowie Kopf- und Fußzeilen werden entfernt. Wiederholte Passagen, die durch Gesetzesänderungen entstehen, sollen dagegen erhalten bleiben, weil sie rechtlich bedeutsam sein können. PDFs hält der Autor für besonders schwierig, da ihnen die Strukturmarkierungen von HTML oder XML fehlen. Als mögliche Extraktion nennt er KI mit strukturierter Ausgabe oder regelbasierte Verfahren, die etwa Schriftgröße, Fettdruck, Einrückung und Nummerierung auswerten.
Für japanische Texte empfiehlt er eine geordnete Zeichenbereinigung: erst die Dokumentstruktur erfassen, dann Unicode-Normalisierung (NFKC) anwenden und dabei mögliche Informationsverluste sowie Maßeinheiten beachten. Unsichtbare Leerzeichen sollen gelöscht, Tabs vereinheitlicht und Zeilenumbrüche für die anschließende Rekonstruktion normalisiert werden. Japanische Zahlwörter und Artikelangaben können in numerische Werte überführt werden; unterschiedliche Klammern sollen unverändert bleiben, Furigana-Lesehilfen dagegen entfernt werden. Bei PDFs sollen weiche Zeilenumbrüche innerhalb eines Satzes zusammengeführt werden, ohne echte Absätze aufzulösen. Japanische Zeilen werden dabei ohne zusätzliches Leerzeichen verbunden. Auch japanische Kalenderdaten sollen für Datumsfilter in ein einheitliches Format gebracht werden.
Tabellen sollen je nach Form als Markdown-Tabelle oder als eigenständige, mit Spaltenüberschriften versehene Textzeilen aufbereitet werden. Eine kurze natürlichsprachliche Beschreibung kann ihre Auffindbarkeit verbessern. Tabellen sollen als eigene Abrufeinheiten markiert und mit den darauf verweisenden Artikeln verknüpft werden. Fußnoten sollen dem jeweiligen Textabschnitt zugeordnet werden, statt alleinstehende Einheiten zu bilden. Querverweise will der Autor als Metadaten speichern und nach dem Abruf programmatisch auflösen; als Alternativen nennt er das Einfügen kleiner Textauszüge oder GraphRAG, das Bedrock Knowledge Bases laut Artikel nicht unterstützt.
Beim Chunking sollen Artikel grundsätzlich getrennte, eigenständige Einheiten bilden; zu lange Artikel können nach Absätzen oder Listenpunkten geteilt werden. Jeder Chunk soll Titel und übergeordnete Struktur wiederholen. Dafür setzt der Autor auf eine eigene Transformation per Lambda. Falls keine eigene Chunking-Funktion verfügbar ist, schlägt er vor, Dokumente vorab in Artikeldokumente mit jeweils eigenen Metadatendateien aufzuteilen.
Für den Abruf sieht der Ablauf eine vorgeschaltete Abfrageplanung mit semantischer Suchanfrage und Filtern, eine Vektorsuche mit vielen Treffern und anschließend ein Reranking der relevantesten Kandidaten vor. Der Autor unterscheidet dabei Ähnlichkeitswerte der Embeddings von Reranker-Werten, die die Relevanz von Anfrage und Text gemeinsam bewerten sollen. Bei Rechtsständen sollen alte Fassungen erhalten bleiben. Ohne ausdrücklich zeitliche oder historische Absicht soll standardmäßig die aktuelle Fassung gelten; für Versions- oder Vergleichsfragen schlägt er eigene Versionsbedingungen vor. Die Darstellung schildert persönliche Designentscheidungen und Beispiele, berichtet aber keine systematische Evaluation oder messbaren Resultate und betont den vorläufigen Charakter der Lösung.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassungen geben den Bericht im Wesentlichen treu wieder. Die Einordnung der Fragen ist dagegen fast durchgehend unzutreffend, weil die Fragen Themen betreffen, die im Bericht nicht vorkommen; nur SF-O3 hat einen teilweisen Bezug über die Versionierung.
Im Bericht, aber nicht in der Zusammenfassung
- Unterscheidung zwischen Fragen nach dem aktuell geltenden Recht und Fragen nach Änderungsverlauf und Historie (version_constraints)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 38 %nur am Rande erwähnt
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 43 %umfangreiche Belege
- JEV 31 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung kein Bezug
Offenlegung und Rechenschaft
- SF-O3 Welcher Text gilt, und wie beweist man, dass ein Dokument nicht verändert wurde?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege