Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
medium.com2. Januar 2024 · Q010796

Set up AWS Glue and Amazon S3 Pipeline using CDK

medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der vollständige Bericht zeigt anhand eines Python-CDK-Beispiels, wie ein S3-Bucket, eine manuell konfigurierte IAM-Rolle und ein Glue-Crawler für den Präfix `data/` eingerichtet werden. Der Autor beschreibt, dass Glue-Datenbank und Tabellen beim Crawlen entstehen können und der Crawler auf Abruf oder nach Zeitplan läuft; Athena wird dabei nicht angelegt.

Mittel

Der vollständige Bericht erklärt, wie eine einfache S3-Glue-Pipeline mit AWS CDK und Python als CloudFormation-Stack angelegt werden kann. Im Beispiel wird ein S3-Bucket erstellt oder ein vorhandener genutzt. Ein Glue-Crawler durchsucht darin den Präfix `data/`; Athena wird nicht eingerichtet, sondern nur als mögliches Werkzeug zum Abfragen der Daten erwähnt.

Da CDK für den Crawler hier den niedrigstufigen `CfnCrawler`-Konstruktor bereitstellt, muss laut Autor die IAM-Rolle manuell angelegt werden. Sie vertraut dem Glue-Service, erhält `AWSGlueServiceRole` und zusätzliche Lese- und Schreibrechte für Objekte unter `data/`. Zielpfad und Berechtigungen müssen zusammenpassen. Die angegebene Glue-Datenbank kann zunächst fehlen und wird laut Beitrag beim ersten Crawler-Lauf angelegt. Ohne Zeitplan läuft der Crawler auf Abruf; alternativ ist ein Cron-Zeitplan möglich.

Nach `cdk deploy` kann der Crawler in der Glue-Konsole gestartet werden. Der Autor berichtet von einer leeren Tabelle bei leerem Zielordner und von Tabellen nach Unterordnern und Partitionierung bei vorhandenen Daten. Der Artikel behandelt ein Beispiel, keine vollständige Produktionsanleitung, und empfiehlt abschließend `cdk destroy` zum Entfernen des Stacks.

Ausführlich lesen

Der vollständige Bericht von Itsuki beschreibt, wie sich mit AWS CDK in Python eine einfache AWS Glue- und Amazon-S3-Pipeline als CloudFormation-Stack einrichten lässt. Glue soll dabei einen S3-Datenbereich durchsuchen und Tabelleninformationen in einem Glue Data Catalog bereitstellen, sodass die Daten anschließend etwa mit Athena abgefragt werden können. Athena selbst wird im Beispiel nicht angelegt: Der Autor behandelt es lediglich als Abfragewerkzeug zur Ansicht der S3-Daten.

Zunächst zeigt der Beitrag die Initialisierung eines CDK-Projekts. Danach wird ein S3-Bucket im Stack angelegt. Der Autor empfiehlt diesen Weg, damit die Anwendung gemeinsam über denselben Stack verwaltet werden kann; ein vorhandener Bucket könne stattdessen weiterverwendet werden. Für den Beispiel-Bucket wird eine Löschrichtlinie gesetzt, die ihn beim Entfernen des Stacks zerstört.

Der zentrale Umsetzungsschritt ist der Glue-Crawler. Laut Bericht bietet CDK dafür hier nur den niedrigstufigen Konstruktor `CfnCrawler`, weshalb die benötigte IAM-Rolle manuell erstellt und deren ARN übergeben werden muss. Die Rolle erlaubt dem Glue-Service, sie anzunehmen, erhält die verwaltete Richtlinie `AWSGlueServiceRole` und zusätzliche S3-Lese- und Schreibrechte. Im gezeigten Code gelten diese zusätzlichen Rechte nur für Objekte unter dem Präfix `data/` im Beispiel-Bucket. Der Autor betont, dass das Ziel des Crawlers innerhalb des Bereichs liegen muss, für den die Rolle Zugriffsrechte hat.

Der Crawler verweist auf `data/` und nennt eine Glue-Datenbank. Diese müsse laut Beitrag vorab nicht existieren: Sie werde beim ersten Lauf des Crawlers angelegt. Ohne Zeitplan (`schedule=None`) sei der Crawler auf Abruf ausführbar; alternativ könne ein Cron-Ausdruck einen regelmäßigen Lauf festlegen. Als Beispiel ist ein täglicher Lauf um 16:00 UTC auskommentiert.

Zum Ausprobieren schlägt der Artikel vor, den Stack mit `cdk deploy` bereitzustellen und den Crawler in der Glue-Konsole manuell zu starten. Der Autor berichtet: Ist der Zielbereich leer, entstehe eine leere Tabelle namens `data`; bei vorhandenen Daten würden Tabellen entsprechend der Unterordnerstruktur und Datenpartitionierung erstellt. Eine nicht vorhandene Datenbank werde ebenfalls in Glue sichtbar. Diese Aussagen beziehen sich auf das beschriebene Beispiel und den dort dargestellten Ablauf; der Bericht liefert keine umfassende Behandlung von Produktionsanforderungen, Datenformaten, Fehlerfällen oder Kosten. Zum Abschluss empfiehlt der Autor, den Beispiel-Stack nach dem Ausprobieren mit `cdk destroy` wieder zu entfernen.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Luna lieferte zwei Zusammenfassungen (kurz und mittel); beide wurden geprüft und ähneln sich im Urteil. Es waren keine Fragen angegeben, daher bleibt die Einordnung leer.

Im Bericht, aber nicht in der Zusammenfassung

  • Der Autor empfiehlt, den Bucket im Stack anzulegen, damit die gesamte Anwendung über einen CloudFormation-Stack verwaltet wird.
  • RemovalPolicy.DESTROY für Bucket, Rolle und Crawler, sodass cdk destroy die Ressourcen entfernt.

In der Zusammenfassung, laut Prüfung nicht im Bericht belegt

  • Die Wertung, der Artikel sei keine vollständige Produktionsanleitung, steht so nicht im Bericht; sie ist eine eigene Einschätzung von Luna.

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle

Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →