How to Collect Data for a Data Science Project with Python (in 3 Steps)
Zusammenfassung
Kurz
Der vollständige Bericht erklärt, wie Selenium und pandas eingesetzt werden können, um Fußball-WM-Spiele von Wikipedia-Seiten auszulesen und als CSV zusammenzuführen. Das Verfahren beruht auf gleich aufgebauten Seiten; die genannten Zeilenzahlen beschreibt der Autor als erwartete Ergebnisse des Codes.
Mittel
Frank Andrade zeigt in einem vollständigen Tutorial, wie sich fehlende Fußball-WM-Spieldaten mit Python, Selenium und pandas von Wikipedia-Seiten sammeln lassen. Dazu installiert man Selenium und eine passende ChromeDriver-Version, öffnet eine Beispielseite und untersucht mit den Browser-Entwicklerwerkzeugen die Tabellenzeilen der Spiele. Ein XPath sucht laut Beitrag nach den relevanten Zeilen; aus deren Zellen werden Heimteam, Ergebnis und Auswärtsteam ausgelesen. pandas bündelt die Werte in einem DataFrame, ergänzt das Jahr und exportiert die Daten als CSV. Für die Seite zur WM 1982 nennt der Autor 48 erwartete Zeilen.
Anschließend wird der Ablauf in eine Funktion übertragen, die ein Jahr entgegennimmt. Eine Liste der WM-Jahre von 1930 bis 2018 wird verarbeitet, und die Ergebnisse werden zu einer CSV-Datei zusammengefügt. Der Autor zufolge umfasst sie mehrere hundert Zeilen. Das Vorgehen setzt voraus, dass die Seiten dieselbe HTML-Struktur besitzen. Die angegebenen Ergebnisse sind erwartete Ausgaben des Tutorials; eine unabhängige Überprüfung oder umfassende Behandlung abweichender Strukturen enthält der Bericht nicht.
Ausführlich lesen
Der vollständige Bericht von Frank Andrade erklärt anhand von Fußball-Weltmeisterschaftsdaten, wie sich mit Python und Selenium fehlende Daten von Webseiten sammeln und zu einem Datensatz zusammenführen lassen. Anlass ist laut Autor, dass eine einzelne Webseite nicht immer alle benötigten Daten enthält oder beim bisherigen Scraping nur ein Teil der Informationen erfasst wird. Als Beispiel nennt er fehlende Spieldaten aus den Weltmeisterschaften von 1930 bis 2022; der Beitrag zeigt die Ergänzung dieser Daten von Wikipedia-Seiten.
Zuerst beschreibt der Autor die Einrichtung: Selenium wird mit pip installiert, anschließend soll eine zum installierten Chrome passende ChromeDriver-Version heruntergeladen und deren Pfad notiert werden. Für das Beispiel importiert der Code Selenium, dessen Chrome-Service, time und pandas. Selenium steuert den Browser, eine Wartezeit kann eingefügt werden, und pandas organisiert die Ergebnisse in DataFrames.
Im zweiten Schritt wird eine Wikipedia-Seite zur Weltmeisterschaft 1982 geöffnet. Mithilfe der Browser-Entwicklerwerkzeuge soll die HTML-Zeile eines Spiels untersucht werden. Der Beitrag verwendet dafür das XPath `//tr[@style="font-size:90%"]`, um entsprechende Tabellenzeilen zu finden. Aus den jeweiligen untergeordneten Tabellenzellen liest der Code Heimteam, Ergebnis und Auswärtsteam aus und speichert sie in Listen. Diese werden zu einem DataFrame zusammengefügt, um eine Jahresangabe ergänzt und als CSV-Datei exportiert. Für die 1982-Seite gibt der Artikel 48 Spielzeilen als erwartetes Ergebnis an.
Im dritten Schritt wird derselbe Ablauf in eine Funktion gepackt, die ein Jahr als Eingabe erhält. Das Jahr wird sowohl in die Wikipedia-Adresse als auch in eine Spalte des DataFrames eingesetzt. Eine Liste der Weltmeisterschaftsjahre von 1930 bis 2018 wird anschließend durchlaufen; die Einzelergebnisse werden zusammengeführt und ebenfalls als CSV gespeichert. Der Autor beschreibt die erwartete Gesamtausgabe als Datei mit mehreren hundert Zeilen und verweist auf ein GitHub-Projekt mit dem bisherigen Code.
Die zentrale Einschränkung des Verfahrens wird ausdrücklich genannt: Das Scraping über mehrere Seiten funktioniert nur, sofern diese dieselbe Struktur haben. Der Beitrag belegt seine erwarteten Zeilenzahlen und Ergebnisse nicht durch eine unabhängige Prüfung, sondern beschreibt, was beim Ausführen des gezeigten Codes herauskommen sollte. Er bietet ein konkretes Tutorial für die genannten Wikipedia-Seiten und die verwendete HTML-Struktur; eine allgemeine Prüfung oder Behandlung abweichender Seitenstrukturen wird nicht ausgeführt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Bewertet wurde die mittlere Zusammenfassung von Luna, da das Schema nur eine Zusammenfassung vorsieht. Die kurze Fassung lässt zusätzlich das Ausgangsproblem und die Schrittfolge aus, etwa die Funktion und die Jahresliste. Lunas Stufe 4 für SF-H3 ist zu hoch angesetzt, weil der Bericht nichts über Herkunft oder Inhalt eines Modells sagt.
Im Bericht, aber nicht in der Zusammenfassung
- Ausgangsproblem: Eine Website enthält nicht immer alle benötigten Daten, weshalb der Autor an sein früheres WM-Projekt anknüpft
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 55 %einzelne zitierbare Belege
- JEV 25 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht