How To Use Scrapy To Build a Dataset for Your Data Science Project
Zusammenfassung
Kurz
Der Bericht führt anhand einer Worldometer-Tabelle vor, wie Scrapy mit XPath Länder und Bevölkerungszahlen ausliest und als CSV oder JSON exportiert. Die Anleitung setzt die beschriebene HTML-Tabellenstruktur voraus; Scrapy als besonders schnell und leistungsfähig zu bezeichnen, ist die Einschätzung des Autors und wird nicht durch Messungen belegt.
Mittel
Frank Andrade zeigt, wie mit Scrapy und Python eine Bevölkerungsdatensammlung aus der Worldometer-Tabelle zu Ländern erstellt werden kann. Er begründet Web Scraping damit, dass Daten nicht immer über eine API verfügbar seien und kostenlose API-Zugriffe begrenzt sein könnten. Scrapy beschreibt er als besonders schnell und leistungsfähig; diese Einordnung bleibt seine Einschätzung.
Die Anleitung richtet eine Python-Umgebung mit Anaconda ein, installiert Scrapy und Protego und erklärt, wie deren Interpreter in einer IDE wie PyCharm ausgewählt wird. Danach werden mit `startproject` ein Scrapy-Projekt und mit `genspider` eine Spider angelegt. Für die Extraktion nutzt der Beitrag XPath: Zuerst werden Tabellenzeilen anhand des HTML-Elements `tr` gesammelt. Innerhalb jeder Zeile liest die Spider den Ländernamen aus einem Link und die Bevölkerungszahl aus der dritten Tabellenzelle. Die Werte werden mit `yield` ausgegeben.
Mit dem Crawl-Befehl lässt sich die Spider starten; die Option `-o` schreibt das Ergebnis als CSV oder JSON. Das Beispiel setzt voraus, dass die angenommene Tabellenstruktur auf der Zielseite zutrifft. Die behaupteten Geschwindigkeitsvorteile Scrapy gegenüber anderen Werkzeugen werden nicht mit Messungen belegt.
Ausführlich lesen
Der Bericht von Frank Andrade beschreibt, wie sich mit Scrapy und Python eine Datensammlung aus einer Website erstellen lässt. Als Anlass nennt der Autor, dass Webdaten häufig ohne API zugänglich seien und vorhandene APIs kostenlose Zugriffe begrenzen könnten. Scrapy wird dabei als besonders leistungsfähig und schnell eingeordnet; der Beitrag stellt es gegenüber Werkzeugen wie Beautiful Soup und Selenium als bevorzugte Wahl dar. Das ist die Einschätzung des Autors.
Als durchgehendes Beispiel dient eine Tabelle mit Bevölkerungszahlen nach Ländern auf Worldometer. Ziel ist es, Länder und ihre Bevölkerungswerte auszulesen und als CSV- oder JSON-Datei zu speichern. Die Anleitung beginnt mit der Einrichtung: Sie empfiehlt Anaconda oder Miniconda, das Anlegen einer eigenen Python-Umgebung und die Installation von Scrapy über conda-forge. Wer eine IDE wie PyCharm nutzt, soll zusätzlich den Pfad zum Python-Interpreter der Umgebung ermitteln und in der IDE eintragen. Außerdem nennt der Beitrag die Installation des Pakets Protego.
Für Scrapy wird zunächst mit `scrapy startproject` ein Projekt namens `spider_tutorial` angelegt. Anschließend erzeugt `scrapy genspider` eine Spider mit dem Namen `worldometers` und der Zieladresse. Der Beitrag erklärt, dass Scrapy dafür eine Vorlage bereitstellt. In der Konfiguration soll `allowed_domains` nur die Hauptdomain enthalten, während `start_urls` die konkrete Seite angibt; falls die Adresse HTTPS verwendet, soll das „s“ im Protokoll ergänzt werden.
Die Datenauswahl erfolgt laut Anleitung mit XPath. Dafür wird zunächst im HTML die Tabellenzeile anhand des `tr`-Elements gefunden. Die Zeilen werden als Liste verarbeitet. Innerhalb jeder Zeile greift der Code über relative XPath-Ausdrücke auf den Linktext für den Ländernamen und auf die dritte Tabellenzelle für die Bevölkerungszahl zu. `.get()` liefert jeweils den Text. Die extrahierten Werte werden innerhalb der Schleife mit `yield` als Dateneintrag ausgegeben.
Zum Ausführen muss die virtuelle Umgebung aktiviert sein und das Terminal sich im Projektverzeichnis mit der Datei `scrapy.cfg` befinden. Der Crawl-Befehl startet die Spider; mit der Option `-o` kann die Ausgabe direkt in eine CSV- oder JSON-Datei geschrieben werden. Der Autor erklärt das Beispiel damit für abgeschlossen und verweist zusätzlich auf weitere Scraping-Übungen.
Die Anleitung behandelt ein einzelnes Tabellenbeispiel und setzt voraus, dass die beschriebenen HTML-Elemente und Spaltenpositionen auf der Zielseite vorhanden sind. Sie erläutert XPath anhand dieser Seitenstruktur, liefert aber im Text keine allgemeine Prüfung, wie sich der Code bei Änderungen der Website verhält. Die Behauptung, Scrapy sei schneller und leistungsfähiger als Alternativen, wird im Bericht nicht durch Messwerte belegt.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Es wurden keine Fragen zur Einordnung angegeben, daher bleibt die Liste leer. Geprüft wurden die kurze und die mittlere Fassung. Die mittlere Fassung gibt den Bericht treu wieder. Die kurze Fassung lässt Begründung und Einrichtung aus. Der Satz, dass die Geschwindigkeitsvorteile nicht durch Messungen belegt sind, ist eine zutreffende Bewertung von Luna und keine Angabe aus dem Bericht.
Im Bericht, aber nicht in der Zusammenfassung
- Begründung für Web Scraping: Daten sind nicht immer über eine API verfügbar, und kostenlose API-Zugriffe sind oft begrenzt (fehlt in der kurzen Fassung)
- Einrichtung mit Anaconda, Installation von Scrapy und Protego sowie Auswahl des Interpreters in einer IDE (fehlt in der kurzen Fassung)
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.