Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com14. Februar 2025 · Q011549

How to Add DeepSeek LLM to Your Chat App Using AWS Bedrock

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht skizziert den Import von DeepSeek-R1-Distill-Llama-8B aus Hugging Face in AWS Bedrock und dessen Anbindung an einen Stream-Chat über einen Python-Agenten. Der Betrieb verursacht laut Text AWS-Kosten, deren Höhe offenbleibt; die Beispielantwort ist kein Leistungstest, und der Autor weist auf die begrenzte Größe des Modells hin.

Mittel

Der Bericht erklärt, wie DeepSeek-R1-Distill-Llama-8B in AWS Bedrock importiert und mit einem Stream-Chat verbunden werden kann. Das Modell wird zunächst mit `huggingface_hub` heruntergeladen und per `boto3` in einen S3-Bucket übertragen. Dieser muss in einer unterstützten AWS-Region liegen. Nach dem Import in Bedrock wird die Modell-ARN für Aufrufe über die Bedrock-Runtime genutzt. Der Autor weist auf anfallende AWS-Kosten hin, beziffert sie aber nicht.

Für Stream beschreibt der Beitrag eine Python-Agentenklasse, die Nutzernachrichten entgegennimmt, eine leere Bot-Nachricht anlegt, einen Denkstatus anzeigt, das Modell aufruft und die Antwort in den Chat schreibt. Start-, Nachrichten- und Stopp-Endpunkte verwalten den Agenten im Kanal. Laut Autor lässt sich die Integration mit wenig Änderung an einer bestehenden Stream-KI-Architektur auch auf andere Modelle übertragen.

Die angeführte Beispielantwort ist lediglich eine einzelne Demonstration und endet am Ausgabelimit. Der Bericht enthält keine systematischen Leistungs-, Sicherheits- oder Kostenmessungen. Er warnt außerdem, dass das verwendete 8B-Modell klein ist und man keine besonders ausgefeilten Antworten erwarten sollte.

Ausführlich lesen

Der Bericht beschreibt, wie sich das Modell DeepSeek-R1-Distill-Llama-8B über AWS Bedrock in einen Chat mit Stream einbinden lässt. Der Autor stellt DeepSeek als vergleichsweise kostengünstiges Modell mit guten Schlussfolgerungsfähigkeiten dar. Er führt als Vorteile der Open-Source-Verfügbarkeit an, dass sich Architektur, Trainingsprozess und Gewichte untersuchen und anpassen ließen und Organisationen das Modell selbst betreiben könnten. Das seien Möglichkeiten, keine im Bericht durch Vergleiche oder Messungen belegten Ergebnisse.

Für die Bereitstellung schlägt der Bericht vor, das Modell mit `huggingface_hub` herunterzuladen und mithilfe von `boto3` in einen S3-Bucket hochzuladen. Der Bucket müsse in einer von Bedrock unterstützten AWS-Region liegen; als Beispiele nennt der Text `us-east-1` und `us-west-2`. Anschließend werde in der Bedrock-Konsole ein Modellimport mit der S3-Adresse gestartet. Nach dem Import könne die Modell-ARN für Anfragen verwendet werden. Der Autor weist darauf hin, dass der Betrieb auf AWS Kosten verursacht, nennt dafür jedoch keine Beträge oder Kalkulation.

Ein Beispielcode ruft das bereitgestellte Modell über die Bedrock-Runtime auf und liest das Feld `generation` aus der JSON-Antwort. Als Beispielprompt dient die Frage nach der Hauptstadt Frankreichs. Die abgedruckte Beispielantwort ist lang und unsicher formuliert; sie endet, weil das Ausgabelimit erreicht wird. Sie ist ein einzelnes Beispiel und kein systematischer Qualitätstest.

Für die Chat-Integration baut der Bericht auf einem vorhandenen React-Client und einem Python-Backend für Stream auf. Eine neue `DeepseekAgent`-Klasse soll AWS-Zugangsdaten einlesen, eine Bedrock-Verbindung einrichten und eingehende Nachrichten verarbeiten. Das Backend legt eine leere Bot-Nachricht an, zeigt während der Verarbeitung einen Denkstatus an, sendet den Nachrichtentext an das Modell und aktualisiert anschließend die Chatnachricht mit der Antwort. Bei Fehlern wird ein Fehlerstatus gesendet. Ein zusätzlicher Antwort-Handler übernimmt laut Darstellung das Aktualisieren der Nachricht und das Löschen des Statusindikators.

Die Endpunkte `/start-ai-agent`, `/new-message` und `/stop-ai-agent` richten den Bot im Stream-Kanal ein, verarbeiten neue Nachrichten und entfernen den Agenten wieder. Der Beitrag beschreibt außerdem den Austausch des Modells als Vorteil der Stream-Architektur und verweist auf eine separate Anleitung für lokalen Betrieb. Er liefert jedoch keine Kostenangaben, Leistungs- oder Sicherheitsbewertung und keine umfassende Produktionsanleitung. Der Autor merkt an, dass das verwendete 8B-Modell klein ist und man keine herausragenden literarischen Antworten erwarten solle.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Beide Zusammenfassungen (kurz und mittel) wurden geprüft. Sie sind sachlich korrekt, lassen aber die Open-Source- und Kostenaussagen aus. Der Bericht ist ein Integrationsleitfaden für Bedrock und Stream ohne Sicherheitsthemen, daher bleiben die Einordnungen niedrig.

Im Bericht, aber nicht in der Zusammenfassung

  • Die Kernaussage, DeepSeek liefere hohe Schlussfolgerungsqualität zu einem Bruchteil der Kosten von o1, o3-mini und Gemini 2.0 Flash Thinking
  • Die Open-Source-Argumentation: prüfbare Architektur und Gewichte, Anpassbarkeit und Vermeidung von Vendor-Lock-in, in keiner der beiden Fassungen genannt
  • Die Bedienung im Chat (Add AI, Remove AI, Webhook für neue Nachrichten)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle
Vorfälle melden
Fähigkeiten messen
Unabhängig prüfen
Tempo und Grenzen
Vertrauen in Modelle
  1. SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
    • clef 100 %kein Bezug
    • Luna 25 %gleiches Oberthema, hilft nicht
    • JEV 27 %einzelne zitierbare Belege
    • amos 46 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
  2. SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
    • clef 100 %kein Bezug
    • Luna 58 %Hintergrund, keine Belege
    • JEV 31 %einzelne zitierbare Belege
    • amos 33 %gleiches Oberthema, hilft nicht
    • SubQ 48 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Agenten und vernetzte Systeme
  1. SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
    • clef 100 %kein Bezug
    • Luna 70 %einzelne zitierbare Belege
    • JEV 35 %einzelne zitierbare Belege
    • amos 31 %gleiches Oberthema, hilft nicht
    • SubQ 45 %gleiches Oberthema, hilft nicht
    • drex 42 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung nur am Rande erwähnt
  2. SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
    • clef 100 %kein Bezug
    • Luna 41 %Hintergrund, keine Belege
    • JEV 31 %nur am Rande erwähnt
    • amos 27 %nur am Rande erwähnt
    • SubQ 46 %gleiches Oberthema, hilft nicht
    • drex 46 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

Modelle teilen und schützen
  1. SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
    • clef 28 %gleiches Oberthema, hilft nicht
    • Luna 46 %Hintergrund, keine Belege
    • JEV 41 %nur am Rande erwähnt
    • amos 32 %nur am Rande erwähnt
    • SubQ 53 %gleiches Oberthema, hilft nicht
    • drex 35 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug

  2. SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
    • clef 100 %kein Bezug
    • Luna 63 %einzelne zitierbare Belege
    • JEV 32 %einzelne zitierbare Belege
    • amos 29 %Hintergrund, keine Belege
    • SubQ 40 %gleiches Oberthema, hilft nicht
    • drex 33 %gleiches Oberthema, hilft nicht
    • d3-ultra 48 %gleiches Oberthema, hilft nicht
    • Haiku-Prüfung einzelne zitierbare Belege
  3. SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
    • clef 100 %kein Bezug
    • Luna 50 %Hintergrund, keine Belege
    • JEV 100 %kein Bezug
    • amos 40 %gleiches Oberthema, hilft nicht
    • SubQ 100 %kein Bezug
    • drex 100 %kein Bezug
    • d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
  1. SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
    • clef 100 %kein Bezug
    • Luna 69 %einzelne zitierbare Belege
    • JEV 62 %einzelne zitierbare Belege
    • amos 25 %nur am Rande erwähnt
    • SubQ 51 %gleiches Oberthema, hilft nicht
    • drex 41 %gleiches Oberthema, hilft nicht
    • d3-ultra 100 %kein Bezug
    • Haiku-Prüfung einzelne zitierbare Belege

Wirtschaft und Haftung
Information und Öffentlichkeit

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →