How to Add DeepSeek LLM to Your Chat App Using AWS Bedrock
Zusammenfassung
Kurz
Der Bericht skizziert den Import von DeepSeek-R1-Distill-Llama-8B aus Hugging Face in AWS Bedrock und dessen Anbindung an einen Stream-Chat über einen Python-Agenten. Der Betrieb verursacht laut Text AWS-Kosten, deren Höhe offenbleibt; die Beispielantwort ist kein Leistungstest, und der Autor weist auf die begrenzte Größe des Modells hin.
Mittel
Der Bericht erklärt, wie DeepSeek-R1-Distill-Llama-8B in AWS Bedrock importiert und mit einem Stream-Chat verbunden werden kann. Das Modell wird zunächst mit `huggingface_hub` heruntergeladen und per `boto3` in einen S3-Bucket übertragen. Dieser muss in einer unterstützten AWS-Region liegen. Nach dem Import in Bedrock wird die Modell-ARN für Aufrufe über die Bedrock-Runtime genutzt. Der Autor weist auf anfallende AWS-Kosten hin, beziffert sie aber nicht.
Für Stream beschreibt der Beitrag eine Python-Agentenklasse, die Nutzernachrichten entgegennimmt, eine leere Bot-Nachricht anlegt, einen Denkstatus anzeigt, das Modell aufruft und die Antwort in den Chat schreibt. Start-, Nachrichten- und Stopp-Endpunkte verwalten den Agenten im Kanal. Laut Autor lässt sich die Integration mit wenig Änderung an einer bestehenden Stream-KI-Architektur auch auf andere Modelle übertragen.
Die angeführte Beispielantwort ist lediglich eine einzelne Demonstration und endet am Ausgabelimit. Der Bericht enthält keine systematischen Leistungs-, Sicherheits- oder Kostenmessungen. Er warnt außerdem, dass das verwendete 8B-Modell klein ist und man keine besonders ausgefeilten Antworten erwarten sollte.
Ausführlich lesen
Der Bericht beschreibt, wie sich das Modell DeepSeek-R1-Distill-Llama-8B über AWS Bedrock in einen Chat mit Stream einbinden lässt. Der Autor stellt DeepSeek als vergleichsweise kostengünstiges Modell mit guten Schlussfolgerungsfähigkeiten dar. Er führt als Vorteile der Open-Source-Verfügbarkeit an, dass sich Architektur, Trainingsprozess und Gewichte untersuchen und anpassen ließen und Organisationen das Modell selbst betreiben könnten. Das seien Möglichkeiten, keine im Bericht durch Vergleiche oder Messungen belegten Ergebnisse.
Für die Bereitstellung schlägt der Bericht vor, das Modell mit `huggingface_hub` herunterzuladen und mithilfe von `boto3` in einen S3-Bucket hochzuladen. Der Bucket müsse in einer von Bedrock unterstützten AWS-Region liegen; als Beispiele nennt der Text `us-east-1` und `us-west-2`. Anschließend werde in der Bedrock-Konsole ein Modellimport mit der S3-Adresse gestartet. Nach dem Import könne die Modell-ARN für Anfragen verwendet werden. Der Autor weist darauf hin, dass der Betrieb auf AWS Kosten verursacht, nennt dafür jedoch keine Beträge oder Kalkulation.
Ein Beispielcode ruft das bereitgestellte Modell über die Bedrock-Runtime auf und liest das Feld `generation` aus der JSON-Antwort. Als Beispielprompt dient die Frage nach der Hauptstadt Frankreichs. Die abgedruckte Beispielantwort ist lang und unsicher formuliert; sie endet, weil das Ausgabelimit erreicht wird. Sie ist ein einzelnes Beispiel und kein systematischer Qualitätstest.
Für die Chat-Integration baut der Bericht auf einem vorhandenen React-Client und einem Python-Backend für Stream auf. Eine neue `DeepseekAgent`-Klasse soll AWS-Zugangsdaten einlesen, eine Bedrock-Verbindung einrichten und eingehende Nachrichten verarbeiten. Das Backend legt eine leere Bot-Nachricht an, zeigt während der Verarbeitung einen Denkstatus an, sendet den Nachrichtentext an das Modell und aktualisiert anschließend die Chatnachricht mit der Antwort. Bei Fehlern wird ein Fehlerstatus gesendet. Ein zusätzlicher Antwort-Handler übernimmt laut Darstellung das Aktualisieren der Nachricht und das Löschen des Statusindikators.
Die Endpunkte `/start-ai-agent`, `/new-message` und `/stop-ai-agent` richten den Bot im Stream-Kanal ein, verarbeiten neue Nachrichten und entfernen den Agenten wieder. Der Beitrag beschreibt außerdem den Austausch des Modells als Vorteil der Stream-Architektur und verweist auf eine separate Anleitung für lokalen Betrieb. Er liefert jedoch keine Kostenangaben, Leistungs- oder Sicherheitsbewertung und keine umfassende Produktionsanleitung. Der Autor merkt an, dass das verwendete 8B-Modell klein ist und man keine herausragenden literarischen Antworten erwarten solle.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Beide Zusammenfassungen (kurz und mittel) wurden geprüft. Sie sind sachlich korrekt, lassen aber die Open-Source- und Kostenaussagen aus. Der Bericht ist ein Integrationsleitfaden für Bedrock und Stream ohne Sicherheitsthemen, daher bleiben die Einordnungen niedrig.
Im Bericht, aber nicht in der Zusammenfassung
- Die Kernaussage, DeepSeek liefere hohe Schlussfolgerungsqualität zu einem Bruchteil der Kosten von o1, o3-mini und Gemini 2.0 Flash Thinking
- Die Open-Source-Argumentation: prüfbare Architektur und Gewichte, Anpassbarkeit und Vermeidung von Vendor-Lock-in, in keiner der beiden Fassungen genannt
- Die Bedienung im Chat (Add AI, Remove AI, Webhook für neue Nachrichten)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vorfälle melden
- SF-M4 Wie kommen Meldungen von Laboren, Betreibern und Nutzern schnell und geschützt zu den Stellen, die handeln müssen, auch über Grenzen hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 47 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F2 Wenn ein Staat ein Modell als Beleg für eine überschrittene Schwelle nennt oder ein Risiko an der Herkunft eines Modells festmacht: Wie wird das überprüfbar?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-F4 Für welche Modelle, Entwickler und Einsätze gelten Prüfregeln, und wann muss neu geprüft werden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 47 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 53 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Unabhängig prüfen
- SF-P3 Woran erkennt man, dass ein Labor sich ehrlich selbst überwacht und dass seine Prüfungen gültig sind?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 41 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 59 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-P4 Wie lässt sich die Größe von Trainingsläufen überprüfen, ohne Modelldetails offenzulegen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-P5 Wie überprüft man, ob Zusagen zwischen Staaten eingehalten werden, auch über Jahre und Regierungswechsel hinweg?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 53 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T2 Woran erkennen andere, dass ein Labor wirklich bremst?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 43 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 81 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 52 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 78 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 25 %gleiches Oberthema, hilft nicht
- JEV 27 %einzelne zitierbare Belege
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 58 %Hintergrund, keine Belege
- JEV 31 %einzelne zitierbare Belege
- amos 33 %gleiches Oberthema, hilft nicht
- SubQ 48 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5-T02 Würde man lieber einem großen, überwachten Modell vertrauen oder vielen kleinen, nicht überwachten?
- SF-V5-T03 Ist es wirtschaftlich klug, Modelle mit geringem Denkaufwand zu betreiben, oder wird das Ausrichtungsproblem (Modelle dazu zu bringen, den vorgesehenen Zielen und Werten zu folgen) dadurch nur schwerer sichtbar?
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 70 %einzelne zitierbare Belege
- JEV 35 %einzelne zitierbare Belege
- amos 31 %gleiches Oberthema, hilft nicht
- SubQ 45 %gleiches Oberthema, hilft nicht
- drex 42 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
- SF-A2 Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- clef 100 %kein Bezug
- Luna 41 %Hintergrund, keine Belege
- JEV 31 %nur am Rande erwähnt
- amos 27 %nur am Rande erwähnt
- SubQ 46 %gleiches Oberthema, hilft nicht
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-A2-T01 Welche Tests zeigen, dass ein Agent sicher angehalten, zurückgesetzt oder abgeschottet werden kann, wenn er sich unerwartet verhält, auch wenn er das Abschalten vorhersieht oder sich wehrt?
- SF-A3 Welche Gefahren entstehen, wenn viele KI-Systeme zusammenwirken oder dieselbe Infrastruktur teilen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 42 %gleiches Oberthema, hilft nicht
- amos 45 %gleiches Oberthema, hilft nicht
- SubQ 49 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 34 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 34 %nur am Rande erwähnt
- SubQ 100 %kein Bezug
- drex 47 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 28 %gleiches Oberthema, hilft nicht
- Luna 46 %Hintergrund, keine Belege
- JEV 41 %nur am Rande erwähnt
- amos 32 %nur am Rande erwähnt
- SubQ 53 %gleiches Oberthema, hilft nicht
- drex 35 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-H2-T01 Was unterscheidet das Veröffentlichen von Modellgewichten (den gelernten Parametern) oder von Agentenwerkzeugen mit offenem Quellcode vom Freisetzen einer Waffe: die Absicht des Akteurs, die Selbstständigkeit des Modells, seine Verwendung oder der Schaden, den es von sich aus anrichten kann? Und können Staaten diese Grenze gemeinsam festschreiben, bevor ein offenes Modell im Mittelpunkt eines schweren Vorfalls steht?
- SF-H2-T04 Wie sollen Staaten mit Open-Source-Modellen aus einem Land umgehen, die in einem anderen schädlich genutzt werden könnten, ohne legitime Forschungszusammenarbeit zu verhindern?
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 63 %einzelne zitierbare Belege
- JEV 32 %einzelne zitierbare Belege
- amos 29 %Hintergrund, keine Belege
- SubQ 40 %gleiches Oberthema, hilft nicht
- drex 33 %gleiches Oberthema, hilft nicht
- d3-ultra 48 %gleiches Oberthema, hilft nicht
- Haiku-Prüfung einzelne zitierbare Belege
- SF-H4 Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- clef 100 %kein Bezug
- Luna 50 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 40 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E1 Welche echte Stimme bekommen weitere Staaten, kleine Labore, Hochschulen und Zivilgesellschaft bei den Regeln für KI?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 42 %gleiches Oberthema, hilft nicht
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 69 %einzelne zitierbare Belege
- JEV 62 %einzelne zitierbare Belege
- amos 25 %nur am Rande erwähnt
- SubQ 51 %gleiches Oberthema, hilft nicht
- drex 41 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung einzelne zitierbare Belege
- SF-E4-T02 Welche konkreten Mechanismen (bezahlbarer Zugang zu Modellen, Rechenleistung im öffentlichen Interesse, Technologietransfer) sollen Sicherheitsregeln begleiten, damit sie Monopole nicht vertiefen und Länder mit wenig Mitteln nicht abhängig zurücklassen?
- SF-E4-T03 Wie können gemeinsame Sicherheitsregeln verhindern, dass hohe Kosten der Einhaltung den Markt auf wenige reiche Labore verengen, und trotzdem kleine Entwickler und Open-Source-Entwickler auf dieselbe Mindestschwelle für Sicherheit verpflichten?
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 56 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Wirtschaft und Haftung
- SF-W2 Wie wirken sich Wettbewerbsrecht und öffentliche Beschaffung auf die KI-Sicherheit aus?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 39 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Weitere Berichte zu diesen Fragen
- Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- Lassen sich KI-Systeme sicher anhalten, zurücksetzen, abschotten oder drosseln, und wer darf das anordnen?
- Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- Was geschieht mit Modellen und Sicherheitspflichten, wenn ein Labor verkauft, aufgelöst oder ein Modell stillgelegt wird?
- Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- Alle Berichte im Archiv