Create and Invoke SageMaker Endpoint from Pre-trained Tensorflow Model
Zusammenfassung
Kurz
Der vollständige Bericht beschreibt die Bereitstellung eines vortrainierten TensorFlow-Modells als SageMaker-Endpunkt, einschließlich IAM-Rolle, Modellarchiv, S3 und Erstellung über SDK oder Konsole. Für Bildvorhersagen empfiehlt der Autor einen `TensorFlowPredictor`; sein OpenCV-Beispiel bereitet ein Gesicht für DeepFaces Emotionserkennung auf und gibt „happy“ als höchste Beispielklasse aus. Die Erfahrungen und der Ablauf sind beispielbezogen und keine allgemeine Bewertung von Kosten oder Sicherheit.
Mittel
Der vollständige Bericht zeigt anhand von DeepFaces Emotionserkennung, wie ein vortrainiertes TensorFlow-Modell als SageMaker-Endpunkt bereitgestellt und aufgerufen werden kann. Anlass ist ein laut Autor gescheiterter Versuch mit einer Docker-basierten Lambda-Funktion: DeepFace habe beim Import in Systemverzeichnisse schreiben müssen, was Lambda außer in `/temp` nicht zulasse. Auch seine Beobachtung, dass ein bestimmtes Python-Lambda-Image mit OpenCV funktionierte und ein anderes nicht, beschreibt nur seinen Versuch.
Für SageMaker wird zunächst eine IAM-Rolle mit Berechtigungen für SageMaker, S3 und öffentliche ECR-Images angelegt. Das Modell wird in einer TensorFlow-spezifischen Verzeichnisstruktur mit Modellname und Versionsnummer gespeichert und als `model.tar.gz` nach S3 geladen. Der Artikel erklärt die anschließende Modell- und Endpunkterstellung sowohl über das Python SDK als auch über die AWS-Konsole. Sobald der Endpunkt „InService“ ist, soll er bereitstehen.
Zum Aufruf empfiehlt der Autor einen `TensorFlowPredictor` mit `predict()`, da Bilddaten wie NumPy-Arrays seiner Erfahrung nach nicht gut als einfacher JSON-Aufruf übertragbar seien. Das Beispiel erkennt mit OpenCV ein Gesicht, bereitet den Ausschnitt als 48×48-Graustufenbild auf und ordnet die Vorhersage einer von sieben Emotionen zu. Der Beitrag liefert einen praktischen Beispielablauf, aber keine systematische Bewertung von Kosten, Sicherheit oder Eignung für andere Modelle.
Ausführlich lesen
Der vollständige Bericht beschreibt, wie sich ein vortrainiertes TensorFlow-Modell mit Amazon SageMaker bereitstellen und für Vorhersagen aufrufen lässt. Der Autor erklärt, dass sein ursprünglicher Versuch, ein DeepFace-Modell zur Gesichtsemotionserkennung in einer Docker-basierten Lambda-Funktion einzusetzen, nach dem Deployment scheiterte. Als Ursache nennt er, dass DeepFace beim Import in Systemverzeichnisse schreiben müsse, während Lambda dafür nur `/temp` erlaube. Er berichtet außerdem, dass bei seinem OpenCV-Versuch ein anderes Lambda-Python-Image funktionierte als `amazon/aws-lambda-python:latest`; dies ist seine Erfahrung, keine allgemeine Kompatibilitätsaussage.
Der Beitrag richtet sich an Fälle, in denen ein Modell bereits trainiert ist. Der Autor grenzt das von vielen AWS-Beispielen ab, die Training und Deployment gemeinsam behandeln, und verweist für vortrainierte PyTorch-Modelle auf ein separates Beispiel. Als durchgehendes Beispiel dient DeepFaces Emotionserkennungsmodell.
Für die Vorbereitung empfiehlt der Bericht eine IAM-Rolle mit Zugriff auf SageMaker, S3 und ein öffentliches ECR-Image. Als konkrete Policies nennt er SageMaker Full Access, S3 Full Access und ECR Public Full Access. Anschließend wird das Modell als `model.tar.gz` gepackt. Für TensorFlow müsse das Modell laut Beitrag unter einem modellbenannten Verzeichnis und einer Versionsnummer liegen; der Beispielcode speichert die Parameter in `model/sagemaker_demo_model_tensorflow/00000001`.
Die Bereitstellung wird auf zwei Wegen erläutert: mit dem SageMaker Python SDK und über die AWS-Konsole. Im SDK-Beispiel wird ein TensorFlow-2.13.0-Inferenzcontainer verwendet, das Archiv in einen S3-Bucket geladen und daraus ein SageMaker-Modell erstellt. Ein Aufruf von `deploy` startet laut Artikel eine Instanz, einen TensorFlow-Serving-Container, den Serving-Prozess und einen HTTP-Zugang über die SageMaker-InvokeEndpoint-API. Sobald der Endpunkt den Status „InService“ erreicht, sei er aufrufbar. Die Konsolenanleitung beschreibt das Hochladen des Archivs, das Anlegen des Modells sowie eines Endpunkts mit neuer Konfiguration; darin wird Serverless als Typ gewählt.
Für Bilddaten empfiehlt der Autor statt eines direkten `boto3`-Aufrufs mit JSON-Body einen `TensorFlowPredictor` und dessen `predict()`-Methode, weil komplexe Bilddaten wie NumPy-Arrays seiner Erfahrung nach nicht ohne Weiteres als API-Parameter übertragen werden. Das Beispiel liest ein Bild mit OpenCV ein, erkennt ein Gesicht, wandelt den Ausschnitt in Graustufen um, skaliert ihn auf 48 × 48 Pixel und normalisiert ihn. Die Modellwerte werden den sieben Emotionen zugeordnet; im angegebenen Beispiel ist „happy“ die höchste Klasse.
Der Bericht dokumentiert einen konkreten Beispielablauf und verweist auf ein Jupyter-Notebook. Er liefert jedoch keinen systematischen Vergleich, keine Messwerte und keine allgemeine Aussage zu Kosten, Sicherheit oder Eignung anderer Modelle. Die beschriebenen AWS-Einstellungen und Beispielwerte sind an Region und Umgebung anzupassen.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung; die kurze Fassung ist ebenfalls sachlich korrekt, lässt aber die Lambda-Vorgeschichte weg. Die Anteilsangaben in Lunas Einordnung lassen sich am Bericht nicht prüfen.
Im Bericht, aber nicht in der Zusammenfassung
- Ablauf beim deploy: Start von EC2-Instanzen, TensorFlow-Serving-Container und HTTP-Server bis zum Status InService
- Hinweis auf das Jupyter-Notebook im GitHub-Repository mit dem Code
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 56 %Hintergrund, keine Belege
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 56 %einzelne zitierbare Belege
- JEV 30 %einzelne zitierbare Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht