AWS Bedrock Converse API with Rust: Tool Use + Streaming
Zusammenfassung
Kurz
Der Artikel zeigt, wie Rust einen gestreamten Bedrock-Werkzeugaufruf anhand von Werkzeug-ID, Namen und stückweise eintreffender Eingabe verarbeitet, diese Eingabe in `Document` umwandelt und das Werkzeugergebnis für eine weitere Modellantwort zurücksendet. Das Beispiel führt das Werkzeug nicht tatsächlich aus, sondern verwendet ein fest codiertes Ergebnis und vereinfacht die Annahme, dass die Folgeantwort keinen weiteren Werkzeugaufruf enthält.
Mittel
Der Artikel beschreibt, wie Rust-Code Werkzeugaufrufe aus AWS Bedrocks `ConverseStream` verarbeitet. Der Autor hebt hervor, dass der Stream zuerst in `ContentBlockStart` Werkzeug-ID und Namen liefert; die Werkzeugeingabe kommt danach stückweise als Zeichenkette in `ContentBlockDelta`. Der Beispielcode sammelt diese Eingabe, wandelt sie über Serdes JSON-`Value` in Bedrocks `Document` um und erstellt bei einem Werkzeug-Stopp eine Assistentennachricht mit dem Werkzeugaufruf. Begleitender Assistententext soll dabei vor dem Werkzeugblock stehen.
Anschließend hängt der Code ein Werkzeugergebnis als Nachricht mit der Rolle „User“ an den Gesprächsverlauf an und sendet diesen erneut an Bedrock. Die gestreamte Textantwort des Modells wird gesammelt und bei `EndTurn` gespeichert. Der Autor begründet die Umwandlung in `Document` damit, dass strukturierte Werkzeugdaten im Gespräch erhalten bleiben und dieselbe Verarbeitung für Streaming und Nicht-Streaming verwendet werden kann.
Die Demonstration führt das Werkzeug nicht wirklich aus: Das Ergebnis ist fest codiert. Der Autor empfiehlt, stattdessen anhand des Werkzeugnamens das passende Werkzeug aufzurufen. Auch die Folgeantwort wird vereinfacht behandelt, da der Code keinen weiteren Werkzeugaufruf erwartet.
Ausführlich lesen
Der Artikel erklärt, wie sich Werkzeugaufrufe mit der Streaming-API „ConverseStream“ von AWS Bedrock in Rust verarbeiten lassen. Der Autor berichtet, dass sich Streaming und gewöhnliche Werkzeugnutzung nicht einfach kombinieren ließen und die AWS-Dokumentation ihm dabei wenig geholfen habe. Im Mittelpunkt steht der Umgang mit den Ereignissen des Streams und das anschließende Zurücksenden des Werkzeugergebnisses an das Modell.
Als zentrale Unterschiede nennt der Artikel zwei Punkte: Zu Beginn eines Werkzeugblocks liefert `ContentBlockStart` die Werkzeug-ID und den Namen. Die Eingabe folgt stückweise in `ContentBlockDelta` als Zeichenkette. Der Beispielcode sammelt diese Teile, gibt Text und Werkzeugeingabe fortlaufend aus und bewahrt sie zugleich für die spätere Verarbeitung auf. Beim Ende der Modellnachricht zeigt der Abbruchgrund an, ob ein Werkzeugaufruf ansteht.
Da der AWS-Typ `Document` laut Autor keine Serde-Unterstützung bereitstellt, wandelt der Beitrag die gesammelte Eingabe zunächst in einen JSON-`Value` und dann rekursiv in `Document` um. Falls das Parsen als JSON scheitert, verwendet der gezeigte Ablauf stattdessen einen `Document::String`. Der Autor begründet die Umwandlung damit, dass ein Werkzeugaufruf im Gesprächsverlauf als strukturierte Eingabe erhalten bleiben soll und dieselbe Verarbeitung so für Streaming und Nicht-Streaming nutzbar sei.
Bei einem Werkzeugaufruf baut der Code eine Assistentennachricht mit dem Werkzeugblock. Falls die Antwort zugleich normalen Assistententext enthält, wird dieser laut Artikel vor dem Werkzeugblock eingefügt. Danach wird ein Ergebnisblock erzeugt und als Nachricht mit der Rolle „User“ an den Gesprächsverlauf angehängt. Eine weitere Streaming-Anfrage übermittelt diesen Verlauf an Bedrock; der Code liest die Textteile der Modellantwort aus und fügt die fertige Assistentenantwort bei `EndTurn` dem Verlauf hinzu.
Der Beitrag ist vor allem eine Implementierungsdemonstration. Das tatsächliche Werkzeug wird im Beispiel nicht ausgeführt: Der Ergebnistext ist fest eingetragen und behauptet lediglich, eine Datei sei erfolgreich gelesen worden. Der Autor weist darauf hin, dass Anwendungen stattdessen anhand des Werkzeugnamens das passende Werkzeug aufrufen und dessen echtes Ergebnis zurückgeben sollten. Außerdem vereinfacht der Beispielcode die zweite Antwort, weil er davon ausgeht, dass sie keinen weiteren Werkzeugaufruf enthält. Der Artikel bietet somit einen konkreten Ablauf und Rust-Code, belegt aber weder eine allgemein vollständige Fehlerbehandlung noch eine produktionsreife Werkzeugausführung.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Zusammenfassung ist im Kern treu. Es fehlt lediglich der Hinweis, dass Document kein serde implementiert, weshalb eine eigene Umwandlung nötig ist. Für SF-A1 gibt es keine Belege im Bericht. Teilfragen wurden nicht angegeben.
Im Bericht, aber nicht in der Zusammenfassung
- Document implementiert kein serde, daher ist eine eigene Umwandlung nötig
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 44 %einzelne zitierbare Belege
- JEV 24 %gleiches Oberthema, hilft nicht
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht