AWS: RAG with Bedrock Knowledge Base
Zusammenfassung
Kurz
Der Autor führt anhand von FGO-Artikeln vor, wie Bedrock Knowledge Bases Dokumente aus S3 für die Suche und Antwortgenerierung mit Claude 2.1 nutzen. Seine positiven Ergebnisse und die Einschätzung, Hybrid-Suche sei am genauesten, beruhen auf einem Einzelbeispiel; systematische Tests oder Kostenmessungen enthält der Bericht nicht.
Mittel
Der Beitrag zeigt am Beispiel von Fate/Grand Order, wie sich mit Amazon Bedrock Knowledge Bases eine RAG-Anwendung einrichten lässt. Der Autor extrahiert Texte aus zwei AppMedia-Artikeln, lädt sie in S3, erstellt eine Wissensbasis mit Titan Embeddings G1 und synchronisiert die Daten. Für Antworten wählt er Claude 2.1. Bedrock kann zunächst die abgerufenen Textpassagen samt Quellen anzeigen und anschließend daraus eine Antwort erzeugen. Der Autor vergleicht semantische, hybride und standardmäßige Suche; nach seiner Beobachtung liefert Hybrid die genauesten Ergebnisse. In seinem Beispiel hält er die Antwort mit Wissensbasis für korrekt und schlüssig, während er die Antwort ohne diese Grundlage als unsinnig bewertet. Der Text belegt das jedoch nicht durch systematische Tests. Er hebt hervor, dass eine erneute Synchronisierung nach Datenänderungen nötig ist und dass Bedrock sowie OpenSearch Kosten verursachen können. Als Abschluss beschreibt er das manuelle Löschen der angelegten Ressourcen und erwähnt Kendra als Alternative für weitere Datenquellen, die er für teuer hält.
Ausführlich lesen
Der Bericht erklärt, wie sich mit Amazon Bedrock Knowledge Bases eine Retrieval-Augmented-Generation-Anwendung (RAG) aufbauen lässt. Bei RAG werden Dokumente in Textabschnitte zerlegt, als Vektoren gespeichert und bei einer Anfrage nach Ähnlichkeit durchsucht. Die ausgewählten Passagen dienen einem Sprachmodell als Kontext für seine Antwort. Der Autor stellt RAG dem Fine-Tuning gegenüber: RAG lasse sich seiner Einschätzung nach einfacher einrichten und mit aktualisierten Dokumenten pflegen, koste wegen der zusätzlichen Suche bei jeder Anfrage aber Zeit.
Im praktischen Beispiel richtet der Autor eine Wissensbasis zu Fate/Grand Order ein. Dafür extrahiert er Text aus zwei AppMedia-Artikeln zu Ranglisten und Spielstrategien und lädt die Dateien in einen S3-Bucket. Anschließend erstellt er in der Bedrock-Konsole eine Knowledge Base, wählt S3 als Datenquelle und Titan Embeddings G1 als Einbettungsmodell. Bedrock kann dabei laut Bericht eine IAM-Rolle und einen Vektorspeicher einrichten; alternativ nennt der Autor OpenSearch Serverless, Aurora, Pinecone und Redis Enterprise Cloud als mögliche Speicher. Nach der Freigabe des Einbettungsmodells synchronisiert er die Datenquelle. Bei Änderungen an den Quelldaten müsse diese Synchronisierung erneut ausgeführt werden.
Für den Abruf vergleicht der Bericht die Suchvarianten „Default“, „Hybrid“ und „Semantic“. Hybrid verbindet semantische Suche mit Textübereinstimmungen. Der Autor nutzt zunächst die Standardeinstellung, berichtet aber, Hybrid habe nach seinen Beobachtungen und Recherchen die genauesten Ergebnisse geliefert. Eine eingeschaltete Option erlaubt es, zunächst nur die gefundenen Textpassagen und Quellenangaben anzusehen, ohne eine generierte Antwort auszugeben. Für die Antwort wählt der Autor Claude 2.1. Bei einer Frage nach dem stärksten FGO-Servant beschreibt er das Ergebnis mit Wissensbasis als korrekt und schlüssig; die Antwort ohne Wissensbasis beurteilt er als unsinnig. Diese Bewertung ist die Einschätzung des Autors und wird im Text nicht durch eine systematische Vergleichsreihe belegt.
Der Beitrag folgert, eine Knowledge Base könne Bedrock für spezielle Anwendungsfälle mit eigenem Wissen ergänzen. Als Alternative für andere Datenquellen erwähnt er Amazon Kendra, hält es jedoch für teuer und schlägt vor, öffentliche APIs regelmäßig per ECS-Aufgabe abzufragen und die Daten in S3 abzulegen. Der Bericht nennt keine Kostenmessung, Leistungsdaten oder breitere Tests. Er weist außerdem darauf hin, dass Bedrock und OpenSearch ebenfalls Kosten verursachen können. Zum Abschluss beschreibt er die manuelle Löschung der angelegten Knowledge Base, IAM-Rolle, S3-Daten und OpenSearch-Sammlung; insbesondere die IAM-Rolle und der Vektorspeicher würden laut Autor nicht automatisch entfernt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Stufen 0 bei SF-V5-T02, SF-A1-T04 und SF-H3-T03 stimmen mit dem Bericht überein. Ihre Stufen 3 und 4 bei den Sammelfragen sind dagegen zu hoch, weil der Bericht nur Betriebs- und Kostenhinweise liefert. Die Anteilsangaben (Prozentwerte) wurden nicht bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Der Vergleich von RAG mit Fine-Tuning (schnellere Umsetzung, einfachere Datenaktualisierung, langsamere Antwortzeit) fehlt in beiden Zusammenfassungen.
- Die Unterscheidung zwischen dem vollständig verwalteten Knowledge-Base-Weg und dem Custom-Weg mit Kendra wird nur am Rande gestreift.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 48 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 61 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 63 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 49 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 77 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 30 %nur am Rande erwähnt
- JEV 25 %nur am Rande erwähnt
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 52 %Hintergrund, keine Belege
- JEV 34 %gleiches Oberthema, hilft nicht
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 29 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 54 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 55 %einzelne zitierbare Belege
- JEV 43 %beantwortet teilweise oder widerspricht
- amos 25 %Hintergrund, keine Belege
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Frieden und Sicherheit
- SF-K2 Wie weit gelten KI-Abkommen für Verbündete und Geheimdienste, und wie verhalten sie sich zu bestehenden Rüstungskontrollverträgen und -regimen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 52 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv