Amazon QuickSight: Combining and Visualizing Multiple RDS Databases All at Once
Zusammenfassung
Kurz
Der Autor beschreibt, wie Tabellen aus mehreren gleich strukturierten RDS-Datenbanken über Lake Formation, S3 und Athena per `UNION` in einem QuickSight-Dataset zusammengeführt und anhand einer Herkunftsspalte im gemeinsamen Dashboard gefiltert werden können. Der Ansatz setzt eine eingerichtete Datenübernahme und passende QuickSight-Berechtigungen voraus; die Tabellen müssen dieselben Spalten haben.
Mittel
Der Bericht stellt einen Ansatz vor, mit dem gleich strukturierte Tabellen aus mehreren Amazon-RDS-Datenbanken in einem gemeinsamen QuickSight-Dashboard auswählbar werden. Eigene Datasets und Visualisierungen pro Datenbank seien bei vielen Datenbanken unpraktisch; mehrere Quellen direkt in QuickSight zusammenzuführen, entspreche laut Autor eher einem JOIN als dem gewünschten zeilenweisen Anhängen. Auch S3-Manifeste seien für dynamisch aktualisierte Daten wenig praktisch.
Vorgeschlagen wird, jede RDS-Datenbank über AWS Lake Formation und Glue zeitgesteuert nach S3 zu übernehmen und dann in QuickSight über Athena ein Dataset anzulegen. Eine benutzerdefinierte SQL-Abfrage kombiniert die Tabellen mit `UNION` und ergänzt je Quelle eine Herkunftsspalte, etwa `database_name`. Diese Spalte dient anschließend als Dashboardfilter und Auswahlsteuerung.
Voraussetzung ist eine eingerichtete Lake-Formation-Pipeline mit bereits nach S3 übernommenen Daten. QuickSight benötigt laut Beitrag Athena-Zugriff sowie Lese- und Schreibrechte auf den S3-Ordner. Die Tabellen müssen dieselben Spalten besitzen; Tabellen sollten mit Data Catalog und Schema referenziert werden, da sonst `default` verwendet werde. Der Autor empfiehlt die Herkunftsspalte, um gleiche Zeilen aus unterschiedlichen Datenbanken zu unterscheiden. Gezeigt wird ein einfaches Beispiel mit zwei Datenbanken, keine systematische Leistungs- oder Betriebsbewertung.
Ausführlich lesen
Der Bericht beschreibt einen Weg, Daten aus mehreren Amazon-RDS-Datenbanken mit gleichem Schema in einem gemeinsamen Amazon-QuickSight-Dashboard darzustellen. Das Problem: Für jede Datenbank ein eigenes Dataset und eigene Visualisierungen anzulegen, werde bei wachsender Datenbankzahl unpraktisch. Mehrere Datenquellen in einem QuickSight-Dataset zusammenzuführen, erzeuge nach Darstellung des Autors eher eine Verknüpfung (JOIN), während er die Datensätze zeilenweise aneinanderhängen (APPEND) und nach Herkunft filtern möchte. Auch das Bündeln von Dateien in S3 über ein Manifest hält er für unpraktisch, wenn sich die Daten dynamisch aktualisieren sollen.
Als Lösung schlägt der Autor eine Datenpipeline mit AWS Lake Formation und Glue vor: Daten aus jeder RDS-Datenbank werden nach einem festgelegten Zeitplan nach S3 übernommen. Da für jede RDS-Datenbank eine eigene Glue-Verbindung nötig sei, müsse dafür jeweils eine separate Aufnahme beziehungsweise ein eigener Workflow eingerichtet werden. Anschließend werde in QuickSight ein Dataset über Athena erstellt. Der Autor erklärt, dass die Datenabfrage über Athena und den AWS Data Catalog erfolge und die genaue Organisation der S3-Ordner deshalb für diesen Ansatz keine wesentliche Rolle spiele.
Im QuickSight-SQL-Editor soll eine benutzerdefinierte Abfrage Tabellen aus dem Data Catalog mit `UNION` kombinieren. Das gezeigte Beispiel liest zwei Tabellen und ergänzt jeweils eine zusätzliche Spalte wie `database_name` mit dem Namen der Herkunftsdatenbank. Danach könne diese Spalte in der Analyse als Filter und Steuerelement dienen, sodass man im selben Dashboard die gewünschte Datenbank auswählt.
Der Bericht nennt dabei mehrere Voraussetzungen und Einschränkungen. Lake Formation müsse bereits eingerichtet und die Daten müssten nach S3 übernommen worden sein; andernfalls verweist der Autor auf einen separaten Beitrag zur Einrichtung. QuickSight brauche Zugriff auf Athena sowie Lese- und Schreibberechtigungen für den S3-Datalake-Ordner. Die mit `UNION` kombinierten Tabellen müssten dieselben Spalten haben. Außerdem seien beim Tabellennamen Data Catalog und Schema anzugeben, weil QuickSight ohne Schema laut Autor standardmäßig `default` verwende. Eine Herkunftsspalte empfiehlt er, damit gleichlautende Zeilen aus verschiedenen Datenbanken unterscheidbar bleiben. Der Beitrag zeigt ein einfaches Beispiel mit zwei Datenbanken und weist darauf hin, dass sich die Idee auf komplexere SQL-Abfragen übertragen lasse; eine systematische Erprobung, Leistungsbewertung oder Diskussion weiterer Betriebsgrenzen enthält er nicht.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Es wurden keine Fragen angegeben, daher bleibt die Einordnung leer. Beide Zusammenfassungen geben den Bericht sachlich korrekt wieder und enthalten keine erfundenen Angaben; die Mängel betreffen nur fehlende Einzelheiten.
Im Bericht, aber nicht in der Zusammenfassung
- Je RDS-Datenbank wird ein eigener Ingestion-Workflow mit eigener Glue-Connection benötigt, was nur die mittlere Zusammenfassung nicht erwähnt und die kurze ebenfalls auslässt.
- Die Kurzfassung erklärt nicht, warum ein JOIN und ein S3-Manifest für den gewünschten Zweck nicht passen.
- Die Auswahl erfolgt über ein Filter-Control im Sheet; die Kurzfassung nennt nur die Filterung.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.