Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com11. August 2024 · Q010619

AWS Bedrock Converse API with Rust: Tool Use + Streaming

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Artikel zeigt, wie Rust einen gestreamten Bedrock-Werkzeugaufruf anhand von Werkzeug-ID, Namen und stückweise eintreffender Eingabe verarbeitet, diese Eingabe in `Document` umwandelt und das Werkzeugergebnis für eine weitere Modellantwort zurücksendet. Das Beispiel führt das Werkzeug nicht tatsächlich aus, sondern verwendet ein fest codiertes Ergebnis und vereinfacht die Annahme, dass die Folgeantwort keinen weiteren Werkzeugaufruf enthält.

Mittel

Der Artikel beschreibt, wie Rust-Code Werkzeugaufrufe aus AWS Bedrocks `ConverseStream` verarbeitet. Der Autor hebt hervor, dass der Stream zuerst in `ContentBlockStart` Werkzeug-ID und Namen liefert; die Werkzeugeingabe kommt danach stückweise als Zeichenkette in `ContentBlockDelta`. Der Beispielcode sammelt diese Eingabe, wandelt sie über Serdes JSON-`Value` in Bedrocks `Document` um und erstellt bei einem Werkzeug-Stopp eine Assistentennachricht mit dem Werkzeugaufruf. Begleitender Assistententext soll dabei vor dem Werkzeugblock stehen.

Anschließend hängt der Code ein Werkzeugergebnis als Nachricht mit der Rolle „User“ an den Gesprächsverlauf an und sendet diesen erneut an Bedrock. Die gestreamte Textantwort des Modells wird gesammelt und bei `EndTurn` gespeichert. Der Autor begründet die Umwandlung in `Document` damit, dass strukturierte Werkzeugdaten im Gespräch erhalten bleiben und dieselbe Verarbeitung für Streaming und Nicht-Streaming verwendet werden kann.

Die Demonstration führt das Werkzeug nicht wirklich aus: Das Ergebnis ist fest codiert. Der Autor empfiehlt, stattdessen anhand des Werkzeugnamens das passende Werkzeug aufzurufen. Auch die Folgeantwort wird vereinfacht behandelt, da der Code keinen weiteren Werkzeugaufruf erwartet.

Ausführlich lesen

Der Artikel erklärt, wie sich Werkzeugaufrufe mit der Streaming-API „ConverseStream“ von AWS Bedrock in Rust verarbeiten lassen. Der Autor berichtet, dass sich Streaming und gewöhnliche Werkzeugnutzung nicht einfach kombinieren ließen und die AWS-Dokumentation ihm dabei wenig geholfen habe. Im Mittelpunkt steht der Umgang mit den Ereignissen des Streams und das anschließende Zurücksenden des Werkzeugergebnisses an das Modell.

Als zentrale Unterschiede nennt der Artikel zwei Punkte: Zu Beginn eines Werkzeugblocks liefert `ContentBlockStart` die Werkzeug-ID und den Namen. Die Eingabe folgt stückweise in `ContentBlockDelta` als Zeichenkette. Der Beispielcode sammelt diese Teile, gibt Text und Werkzeugeingabe fortlaufend aus und bewahrt sie zugleich für die spätere Verarbeitung auf. Beim Ende der Modellnachricht zeigt der Abbruchgrund an, ob ein Werkzeugaufruf ansteht.

Da der AWS-Typ `Document` laut Autor keine Serde-Unterstützung bereitstellt, wandelt der Beitrag die gesammelte Eingabe zunächst in einen JSON-`Value` und dann rekursiv in `Document` um. Falls das Parsen als JSON scheitert, verwendet der gezeigte Ablauf stattdessen einen `Document::String`. Der Autor begründet die Umwandlung damit, dass ein Werkzeugaufruf im Gesprächsverlauf als strukturierte Eingabe erhalten bleiben soll und dieselbe Verarbeitung so für Streaming und Nicht-Streaming nutzbar sei.

Bei einem Werkzeugaufruf baut der Code eine Assistentennachricht mit dem Werkzeugblock. Falls die Antwort zugleich normalen Assistententext enthält, wird dieser laut Artikel vor dem Werkzeugblock eingefügt. Danach wird ein Ergebnisblock erzeugt und als Nachricht mit der Rolle „User“ an den Gesprächsverlauf angehängt. Eine weitere Streaming-Anfrage übermittelt diesen Verlauf an Bedrock; der Code liest die Textteile der Modellantwort aus und fügt die fertige Assistentenantwort bei `EndTurn` dem Verlauf hinzu.

Der Beitrag ist vor allem eine Implementierungsdemonstration. Das tatsächliche Werkzeug wird im Beispiel nicht ausgeführt: Der Ergebnistext ist fest eingetragen und behauptet lediglich, eine Datei sei erfolgreich gelesen worden. Der Autor weist darauf hin, dass Anwendungen stattdessen anhand des Werkzeugnamens das passende Werkzeug aufrufen und dessen echtes Ergebnis zurückgeben sollten. Außerdem vereinfacht der Beispielcode die zweite Antwort, weil er davon ausgeht, dass sie keinen weiteren Werkzeugaufruf enthält. Der Artikel bietet somit einen konkreten Ablauf und Rust-Code, belegt aber weder eine allgemein vollständige Fehlerbehandlung noch eine produktionsreife Werkzeugausführung.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Lunas Zusammenfassung ist im Kern treu. Es fehlt lediglich der Hinweis, dass Document kein serde implementiert, weshalb eine eigene Umwandlung nötig ist. Für SF-A1 gibt es keine Belege im Bericht. Teilfragen wurden nicht angegeben.

Im Bericht, aber nicht in der Zusammenfassung

  • Document implementiert kein serde, daher ist eine eigene Umwandlung nötig

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Tempo und Grenzen
Vertrauen in Modelle
Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 44 %einzelne zitierbare Belege
    • JEV 24 %gleiches Oberthema, hilft nicht
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung gleiches Oberthema, hilft nicht

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →