Query Amazon S3 Data with Amazon Athena and AWS Glue
Zusammenfassung
Kurz
Der Bericht erläutert, wie ein AWS-Glue-Crawler S3-Daten katalogisieren soll, damit sie anschließend in Athena per SQL abgefragt und für QuickSight verwendet werden können. Er empfiehlt bei unterschiedlichen Schemata getrennte Unterordner und beschreibt eine passende IAM-Rolle; mögliche Fehlerfälle, Kosten und Sicherheitsabwägungen behandelt er nicht ausführlich.
Mittel
Der Bericht zeigt, wie Daten in Amazon S3 über einen AWS-Glue-Crawler im Glue Data Catalog erfasst und anschließend mit Athena abgefragt werden können. Der Autor wählte dieses Vorgehen, weil die Daten im Parquet-Format vorliegen und er keine Manifest-Dateien manuell erstellen wollte.
Die Anleitung startet in Athena mit der Einrichtung einer S3-Datenquelle und führt dann zur Crawler-Erstellung in Glue. Dort werden ein S3-Pfad, eine IAM-Rolle und eine Glue-Datenbank festgelegt. Laut Bericht durchsucht der Crawler alle Dateien unter dem angegebenen Pfad; bei unterschiedlichen Datenschemata empfiehlt sich eine Trennung in Unterordner. Die beschriebene Rolle erhält Lese- und Schreibrechte für den S3-Pfad. Nach dem Start des Crawlers sollen Tabellen automatisch in der Datenbank entstehen.
Zum Prüfen der Einrichtung wählt man in Athena den Glue-Katalog und die Datenbank und führt `select * from data` aus. Der Autor berichtet, dass die Abfrageergebnisse dann angezeigt werden und die Verbindung zu QuickSight über Athena möglich ist. Der Beitrag ist eine Konsolenanleitung für den gezeigten Aufbau; ausführliche Fehlerbehandlung, Kosten und Sicherheitsabwägungen werden nicht behandelt.
Ausführlich lesen
Der Bericht beschreibt, wie sich Daten in Amazon S3 über Amazon Athena und den AWS Glue Data Catalog abfragen und anschließend für Amazon QuickSight nutzen lassen. Der Autor sagt, er habe diesen Weg gewählt, weil seine Daten im Parquet-Format vorliegen und er keine Manifest-Dateien manuell erstellen wollte. Athena wird als interaktiver Dienst vorgestellt, mit dem sich S3-Daten per SQL untersuchen lassen; Glue speichert dazu Metadaten wie Tabellen- und Spaltennamen.
Die Anleitung beginnt in der Athena-Konsole: Unter „Data sources“ soll eine S3-Quelle mit dem AWS Glue Data Catalog eingerichtet und die Erstellung in Glue geöffnet werden. Dort wird ein Crawler angelegt. Für eine neue S3-Quelle wird „Not yet“ ausgewählt, anschließend der S3-Pfad angegeben. Laut Bericht werden alle Ordner und Dateien unter diesem Pfad durchsucht. Bei Datensätzen mit unterschiedlichen Schemata empfiehlt der Autor, die Dateien in getrennten Unterordnern abzulegen, damit daraus jeweils eigene Tabellen entstehen können.
Im nächsten Schritt wird eine neue IAM-Rolle erstellt. Der Bericht zufolge erhält diese Glue-Service-Rolle eine verwaltete S3-Richtlinie mit Lese- und Schreibrechten für den angegebenen S3-Pfad. Außerdem wird eine Datenbank im Glue Data Catalog angelegt und beim Crawler ausgewählt. Als Zeitplan kann „on demand“ verwendet werden; alternativ nennt der Autor tägliche, wöchentliche oder eigene Cron-Zeitpläne. Nach dem Erstellen wird der Crawler manuell gestartet.
Als Ergebnis sollen die Tabellen automatisch in der gewählten Datenbank angelegt werden. Der Autor erklärt, dass die Tabellen und Spalteninformationen daher nicht manuell erstellt werden müssten, und verweist als Kontrollmöglichkeit auf den Tabellenbereich in Glue. Zum Prüfen der Verbindung öffnet man anschließend den Athena-Abfrageeditor, wählt „AwsDataCatalog“ und die erstellte Datenbank aus und führt `select * from data` aus. Der Bericht sagt, dass die Ergebnisse dann unter „Query results“ sichtbar sein sollten. Damit könne man die S3-Daten über Athena abfragen und Athena mit QuickSight verbinden.
Die Darstellung ist eine praktische Schritt-für-Schritt-Anleitung anhand der AWS-Konsolenoberfläche und eines Beispiels. Sie belegt keine unabhängige Prüfung der beschriebenen Abläufe und behandelt nicht ausführlich mögliche Fehlerfälle, Kosten, Sicherheitsabwägungen oder abweichende Datenformate. Die Hinweise zu den nötigen Rechten und zur Ordnerstruktur beziehen sich auf den beschriebenen Aufbau.
Gegengeprüft von Claude Haiku 5.5: ok
Es wurden keine Sammel- oder Teilfragen angegeben (Lunas Einordnung lautet jeweils „(keine)“), daher gibt es keine Einordnung nach der Skala. Die Zusammenfassungen (kurz und mittel) wurden gegen den Bericht geprüft; beide geben die Anleitung treu wieder, und die Auslassungen sind peripher.
Im Bericht, aber nicht in der Zusammenfassung
- Der Crawler-Zeitplan (On Demand, alternativ Daily/Weekly oder Cron-Ausdrücke) wird in beiden Zusammenfassungen nicht genannt
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.