Build an Agentic RAG System With OpenAI, LanceDB, and Phidata
Zusammenfassung
Kurz
Der Bericht zeigt, wie sich mit Phidata, OpenAI und LanceDB ein einfacher Agent für Fragen zu einem PDF einrichten lässt. Die weitergehenden Agentenfunktionen und Vorteile werden überwiegend beschrieben, nicht anhand von Tests belegt; das Beispiel umfasst weder mehrere Wissensquellen noch eine systematische Qualitäts- oder Sicherheitsprüfung.
Mittel
Der Bericht erklärt Retrieval Augmented Generation (RAG) und führt durch den Bau eines einfachen PDF-Chatbots. RAG ergänzt eine Nutzeranfrage um abgerufene Informationen aus einer Wissensquelle, auf deren Grundlage ein Sprachmodell antwortet. „Agentic RAG“ erweitert dieses Prinzip laut Autor um Werkzeuge und die Koordination komplexerer Aufgaben. Als mögliche Anwendungen nennt er etwa Dokumentenvergleiche, mehrteilige Anfragen und Automatisierungen im Kundendienst.
Das Tutorial nutzt Python, Phidata, OpenAI und LanceDB. Ein PDF wird über eine URL geladen und in einer Wissensbasis abgelegt; für S3 empfiehlt der Text eine vorab signierte URL. OpenAIs `text-embedding-3-small` erstellt Einbettungen, `gpt-4o-mini` erzeugt Antworten, und Phidatas Playground stellt eine Oberfläche bereit.
Der Code zeigt jedoch nur einen einzelnen Agenten für ein PDF. Mehrere Wissensquellen, Websuche und komplexe Agentenabläufe werden zwar beschrieben oder als Ausbau genannt, aber nicht praktisch demonstriert. Der Artikel berichtet auch keine Benchmarks, systematischen Genauigkeitstests oder Sicherheitsprüfung. Seine Aussagen zu Vorteilen und Einsatzmöglichkeiten sind daher als Vorschläge des Autors zu verstehen.
Ausführlich lesen
Der Bericht ist ein Tutorial zum Aufbau eines einfachen Systems, das Antworten eines Sprachmodells mit Informationen aus Unternehmensdokumenten ergänzen soll. Als Beispiel dient ein Chatbot, der Inhalte aus einem PDF abruft. Der Autor begründet den Ansatz damit, dass allgemeine Sprachmodelle nicht speziell auf aktuelle Unternehmensdaten trainiert seien und deshalb veraltete, allgemeine oder erfundene Antworten liefern könnten. RAG soll dem Modell passende Informationen aus einer Wissensquelle bereitstellen, bevor es eine Antwort formuliert.
Der Text beschreibt RAG in drei Schritten: Das System ruft relevante Daten ab, ergänzt damit den Kontext der Anfrage und erzeugt darauf basierend eine Antwort. Bei „agentic RAG“ soll ein Sprachmodell zusätzlich Werkzeuge koordinieren und komplexere, mehrstufige Aufgaben bearbeiten können. Als mögliche Anwendungsfälle nennt der Autor unter anderem die Suche und den Vergleich mehrerer Dokumente, mehrteilige Anfragen und die Nutzung verschiedener Wissensquellen. Auch Automatisierungen für Kundentickets, Feedback, Termine und Zahlungserinnerungen werden als Einsatzmöglichkeiten vorgeschlagen. Diese Vorteile und Einsatzszenarien werden im Artikel erläutert, aber nicht durch Messungen oder Fallstudien belegt.
Der praktische Teil verwendet Python, Phidata, OpenAI und LanceDB. Benötigt werden außerdem unter anderem Tantivy für Volltextsuche, pypdf zur Verarbeitung von PDFs sowie FastAPI und SQLAlchemy für die Playground-Oberfläche. Das Beispiel lädt ein PDF über eine URL in eine Wissensbasis. Für eine Datei in Amazon S3 soll laut Hinweis eine vorab signierte URL verwendet werden, da die gewöhnliche Objekt-URL nicht zugänglich sei. LanceDB speichert die Vektordaten lokal; OpenAI erzeugt mit `text-embedding-3-small` Einbettungen, und `gpt-4o-mini` dient als Sprachmodell. Nach dem Laden der Wissensbasis wird ein Phidata-Agent eingerichtet und über den Playground auf Port 7777 bereitgestellt. Zum Ausführen nennt der Artikel außerdem die Phidata-Anmeldung per `phi auth`.
Der gezeigte Code demonstriert einen einzelnen Agenten für ein einzelnes PDF. Eine tatsächliche Orchestrierung mehrerer Wissensdatenbanken, Websuche, mehrstufiges Schlussfolgern oder eine Prüfung der Antwortqualität wird im Beispiel nicht umgesetzt. Der Bericht enthält keine Leistungsbenchmarks, systematische Genauigkeitsprüfung oder Sicherheitsanalyse. Er zeigt damit einen grundlegenden Prototyp für dokumentengestützte Abfragen und skizziert Erweiterungen, belegt aber nicht deren Wirksamkeit in produktiven Unternehmensabläufen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung wurde gegen die mittlere Fassung geprüft; die kurze Fassung ist ebenfalls sachlich korrekt, lässt aber die Motivation und die Vorteile von Agentic RAG aus. Luna hat die Stufen bei SF-A1 und SF-H3 deutlich überschätzt, weil der Bericht die Fragen nicht beantwortet. Teilfragen waren nicht angegeben und wurden daher nicht bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Motivation des Artikels: LLMs sind auf allgemeinen Daten trainiert, nicht auf Unternehmensdaten, und neigen daher zu Halluzinationen und veralteten Angaben
- Die Vorteile von Agentic RAG gegenüber Standard-RAG (mehrere Dokumente, mehrteilige Anfragen, mehrere Wissensquellen, sequenzielles Schließen) werden nicht genannt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 54 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 55 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P2 Wie bleiben Prüfer, die in einem Labor arbeiten, wirklich unabhängig?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 36 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 67 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 33 %gleiches Oberthema, hilft nicht
- Luna 35 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 66 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 26 %Hintergrund, keine Belege
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 67 %Hintergrund, keine Belege
- JEV 26 %Hintergrund, keine Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 46 %einzelne zitierbare Belege
- JEV 54 %einzelne zitierbare Belege
- amos 32 %nur am Rande erwähnt
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 38 %gleiches Oberthema, hilft nicht
- d3-ultra 43 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung nur am Rande erwähnt
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 36 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 37 %gleiches Oberthema, hilft nicht
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 54 %Hintergrund, keine Belege
- JEV 44 %gleiches Oberthema, hilft nicht
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 58 %gleiches Oberthema, hilft nicht
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 58 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 44 %einzelne zitierbare Belege
- JEV 22 %einzelne zitierbare Belege
- amos 32 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 39 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Offenlegung und Rechenschaft
- SF-O2 Was sollten Regierungen, Labore und Prüfer über ihre Gespräche, Zusagen, Prüfungen und Eingriffe offenlegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E2 In welchem Rahmen sollen Staaten KI regeln, und wo liegt eine gemeinsame Untergrenze?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 52 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 48 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 33 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 48 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv