AWS Glue Table from Dynamo JSON in S3 2 Ways
Zusammenfassung
Kurz
Der Artikel beschreibt zwei CDK-Ansätze, um nach S3 exportierte DynamoDB-Daten mit Glue für Athena verfügbar zu machen: einen Crawler mit automatischer Schemaerkennung und eine direkt definierte Tabelle mit festem Schema. Die Beispiele setzen bestimmte Exportpfade beziehungsweise beim direkten Ansatz eine String-Spalte `event_id` voraus; für Athena wird gezeigt, wie der verschachtelte Wert gezielt abgefragt wird.
Mittel
Der Artikel erläutert zwei Wege, DynamoDB-Daten über einen S3-Export mit Glue für Athena bereitzustellen. Als Alternative beschreibt er den Athena-DynamoDB-Connector, warnt aber vor möglicher Belastung der Lesekapazität und daraus folgenden Verzögerungen oder Beeinträchtigungen anderer Dienste.
Für den Glue-Weg soll zunächst PITR aktiviert und ein vollständiger Export nach S3 gestartet werden. Ein Glue Crawler erkennt das JSON-Schema automatisch, benötigt laut Beitrag aber einen erneuten Lauf nach neuen Exporten; außerdem ist der Tabellenname nicht verlässlich steuerbar. Da sich ein Teil des Exportpfads ändert, schlägt der Autor vor, die Daten nach Abschluss per S3-Trigger und Lambda in einen festen Ordner zu verschieben.
Alternativ kann die Glue-Tabelle direkt per CDK angelegt werden. Das Beispiel erlaubt einen festen Tabellennamen und soll Änderungen am Zielpfad automatisch abbilden, setzt aber ein manuell definiertes Schema voraus. Das gezeigte Schema gilt ausdrücklich für eine Tabelle mit einer String-Spalte `event_id`. Für Athena zeigt der Artikel eine Abfrage, die diesen Wert aus der verschachtelten Struktur `Item.event_id.S` herausliest. Die Beispiele sind an die beschriebenen Daten und Konfigurationen gebunden.
Ausführlich lesen
Der Artikel beschreibt, wie sich DynamoDB-Daten über einen Export nach Amazon S3 mit AWS Glue katalogisieren und anschließend in Athena abfragen lassen. Als Alternative nennt der Autor den Athena-DynamoDB-Connector, der laut Artikel nahezu aktuelle Abfragen ermöglicht. Er warnt jedoch vor möglicher Belastung der DynamoDB-Lesekapazität: Abfragen könnten stocken oder Daten nicht laden und andere Dienste beeinträchtigen, die dieselbe Tabelle nutzen. Außerdem sei die Bereitstellung des Connectors mit CDK nicht direkt verfügbar. Der Artikel enthält dafür beispielhaften CDK-Code für eine Lambda-Funktion und ihre Berechtigungen.
Für den Glue-Weg muss laut Anleitung zunächst Point-in-Time-Recovery (PITR) für die DynamoDB-Tabelle aktiviert werden. Danach lässt sich ein vollständiger Export in S3 starten; alternativ könne eine EventBridge-Regel eine Lambda-Funktion zum Export auslösen. Der Beitrag konzentriert sich anschließend auf zwei Varianten zum Erstellen einer Glue-Tabelle.
Bei der ersten Variante untersucht ein Glue Crawler den S3-Pfad und erkennt das JSON-Schema automatisch. Der bereitgestellte CDK-Code zeigt eine mögliche Crawler-Konfiguration. Der Autor weist darauf hin, dass die Glue-Datenbank beim ersten Lauf angelegt werden könne, wenn sie noch nicht existiert. Der Exportpfad enthält jedoch eine wechselnde Kennung. Als Lösung schlägt der Beitrag eine S3-ausgelöste Lambda-Funktion vor, die nach Abschluss des Exports die JSON-Dateien in einen festen Ordner verschiebt. Der Trigger filtere auf `manifest-files.json`, damit er nur einmal und nach Jobabschluss ausgelöst werde. Der Crawler müsse nach einem neuen Export erneut ausgeführt werden, manuell, programmgesteuert oder nach Zeitplan.
Die zweite Variante erstellt die Glue-Tabelle direkt per CDK. Das Beispiel setzt ausdrücklich eine DynamoDB-Tabelle mit nur einer String-Spalte `event_id` voraus und definiert Schema, JSON-SerDe und S3-Speicherort fest. Laut Vergleich lässt sich dabei der Tabellenname bestimmen; Änderungen am Zielpfad würden die Tabelle automatisch aktualisieren. Der Nachteil ist das manuell festgelegte Schema. Der Autor empfiehlt, bei Unsicherheit zunächst einmal einen Crawler in der Konsole laufen zu lassen und das erkannte Schema zu übernehmen. Für `catalogId` solle die AWS-Konto-ID verwendet werden.
Zum Abfragen zeigt der Artikel, dass ein einfacher `SELECT *` die DynamoDB-Werte verschachtelt unter `item` ausgibt. Eine gezielte Auswahl wie `Item.event_id.S AS event_id` liefere laut Beispiel ein leichter weiterzuverarbeitendes Ergebnis. Die Beispiele und Empfehlungen des Beitrags sind an die beschriebenen Konfigurationen gebunden; insbesondere ist das direkte Tabellenschema kein allgemeines Schema für beliebige DynamoDB-Daten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Es wurden keine Sammel- oder Teilfragen angegeben, daher ist die Einordnung leer. Die Zusammenfassung wurde für Kurz- und Mittelfassung gemeinsam bewertet, da das Schema nur ein Urteil vorsieht; die Angaben selbst sind im Bericht belegt und enthalten keine Erfindungen.
Im Bericht, aber nicht in der Zusammenfassung
- Der Athena-DynamoDB-Connector ist laut Bericht nicht direkt in CDK verfügbar und aws-sam.CfnApplication wird nicht mehr unterstützt
- Der Connector liefert laut Bericht nahezu Echtzeitdaten, was in der Zusammenfassung fehlt
- In der Kurzfassung fehlen der Connector-Ansatz und der Schritt, bei dem der Autor die Exporte per S3-Trigger und Lambda in einen festen Ordner verschiebt
- Der Vergleich der Vor- und Nachteile von Crawler und direkter Tabellendefinition wird nicht ausgeführt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.