Zum Inhalt
AMANi DUNiA research
DE

Die Fragen auf dieser Website haben KI-Sprachmodelle gestellt; auch die Erklärtexte und Übersetzungen stammen von KI-Modellen. Wer was geprüft hat, steht jeweils dabei. → Über die Fragen

← Alle bewerteten Quellen
frank-andrade.medium.com6. September 2021 · Q010386

How To Use Scrapy To Build a Dataset for Your Data Science Project

frank-andrade.medium.com · Originalbericht öffnen ↗

Zusammenfassung

Kurz

Der Bericht führt anhand einer Worldometer-Tabelle vor, wie Scrapy mit XPath Länder und Bevölkerungszahlen ausliest und als CSV oder JSON exportiert. Die Anleitung setzt die beschriebene HTML-Tabellenstruktur voraus; Scrapy als besonders schnell und leistungsfähig zu bezeichnen, ist die Einschätzung des Autors und wird nicht durch Messungen belegt.

Mittel

Frank Andrade zeigt, wie mit Scrapy und Python eine Bevölkerungsdatensammlung aus der Worldometer-Tabelle zu Ländern erstellt werden kann. Er begründet Web Scraping damit, dass Daten nicht immer über eine API verfügbar seien und kostenlose API-Zugriffe begrenzt sein könnten. Scrapy beschreibt er als besonders schnell und leistungsfähig; diese Einordnung bleibt seine Einschätzung.

Die Anleitung richtet eine Python-Umgebung mit Anaconda ein, installiert Scrapy und Protego und erklärt, wie deren Interpreter in einer IDE wie PyCharm ausgewählt wird. Danach werden mit `startproject` ein Scrapy-Projekt und mit `genspider` eine Spider angelegt. Für die Extraktion nutzt der Beitrag XPath: Zuerst werden Tabellenzeilen anhand des HTML-Elements `tr` gesammelt. Innerhalb jeder Zeile liest die Spider den Ländernamen aus einem Link und die Bevölkerungszahl aus der dritten Tabellenzelle. Die Werte werden mit `yield` ausgegeben.

Mit dem Crawl-Befehl lässt sich die Spider starten; die Option `-o` schreibt das Ergebnis als CSV oder JSON. Das Beispiel setzt voraus, dass die angenommene Tabellenstruktur auf der Zielseite zutrifft. Die behaupteten Geschwindigkeitsvorteile Scrapy gegenüber anderen Werkzeugen werden nicht mit Messungen belegt.

Ausführlich lesen

Der Bericht von Frank Andrade beschreibt, wie sich mit Scrapy und Python eine Datensammlung aus einer Website erstellen lässt. Als Anlass nennt der Autor, dass Webdaten häufig ohne API zugänglich seien und vorhandene APIs kostenlose Zugriffe begrenzen könnten. Scrapy wird dabei als besonders leistungsfähig und schnell eingeordnet; der Beitrag stellt es gegenüber Werkzeugen wie Beautiful Soup und Selenium als bevorzugte Wahl dar. Das ist die Einschätzung des Autors.

Als durchgehendes Beispiel dient eine Tabelle mit Bevölkerungszahlen nach Ländern auf Worldometer. Ziel ist es, Länder und ihre Bevölkerungswerte auszulesen und als CSV- oder JSON-Datei zu speichern. Die Anleitung beginnt mit der Einrichtung: Sie empfiehlt Anaconda oder Miniconda, das Anlegen einer eigenen Python-Umgebung und die Installation von Scrapy über conda-forge. Wer eine IDE wie PyCharm nutzt, soll zusätzlich den Pfad zum Python-Interpreter der Umgebung ermitteln und in der IDE eintragen. Außerdem nennt der Beitrag die Installation des Pakets Protego.

Für Scrapy wird zunächst mit `scrapy startproject` ein Projekt namens `spider_tutorial` angelegt. Anschließend erzeugt `scrapy genspider` eine Spider mit dem Namen `worldometers` und der Zieladresse. Der Beitrag erklärt, dass Scrapy dafür eine Vorlage bereitstellt. In der Konfiguration soll `allowed_domains` nur die Hauptdomain enthalten, während `start_urls` die konkrete Seite angibt; falls die Adresse HTTPS verwendet, soll das „s“ im Protokoll ergänzt werden.

Die Datenauswahl erfolgt laut Anleitung mit XPath. Dafür wird zunächst im HTML die Tabellenzeile anhand des `tr`-Elements gefunden. Die Zeilen werden als Liste verarbeitet. Innerhalb jeder Zeile greift der Code über relative XPath-Ausdrücke auf den Linktext für den Ländernamen und auf die dritte Tabellenzelle für die Bevölkerungszahl zu. `.get()` liefert jeweils den Text. Die extrahierten Werte werden innerhalb der Schleife mit `yield` als Dateneintrag ausgegeben.

Zum Ausführen muss die virtuelle Umgebung aktiviert sein und das Terminal sich im Projektverzeichnis mit der Datei `scrapy.cfg` befinden. Der Crawl-Befehl startet die Spider; mit der Option `-o` kann die Ausgabe direkt in eine CSV- oder JSON-Datei geschrieben werden. Der Autor erklärt das Beispiel damit für abgeschlossen und verweist zusätzlich auf weitere Scraping-Übungen.

Die Anleitung behandelt ein einzelnes Tabellenbeispiel und setzt voraus, dass die beschriebenen HTML-Elemente und Spaltenpositionen auf der Zielseite vorhanden sind. Sie erläutert XPath anhand dieser Seitenstruktur, liefert aber im Text keine allgemeine Prüfung, wie sich der Code bei Änderungen der Website verhält. Die Behauptung, Scrapy sei schneller und leistungsfähiger als Alternativen, wird im Bericht nicht durch Messwerte belegt.

Luna (gpt-6-luna, Denkstufe high), ChatGPT-Abo · 2026-11-19

Gegengeprüft von Claude Haiku 5.5: kleine Mängel

Es wurden keine Fragen zur Einordnung angegeben, daher bleibt die Liste leer. Geprüft wurden die kurze und die mittlere Fassung. Die mittlere Fassung gibt den Bericht treu wieder. Die kurze Fassung lässt Begründung und Einrichtung aus. Der Satz, dass die Geschwindigkeitsvorteile nicht durch Messungen belegt sind, ist eine zutreffende Bewertung von Luna und keine Angabe aus dem Bericht.

Im Bericht, aber nicht in der Zusammenfassung

  • Begründung für Web Scraping: Daten sind nicht immer über eine API verfügbar, und kostenlose API-Zugriffe sind oft begrenzt (fehlt in der kurzen Fassung)
  • Einrichtung mit Anaconda, Installation von Scrapy und Protego sowie Auswahl des Interpreters in einer IDE (fehlt in der kurzen Fassung)

Automatische Gegenprüfung mit dem vollständigen Originaltext (Batch, 20.11.2026). Ungeprüft durch Menschen.

Wie die Modelle den Bericht einordnen

Je Sammelfrage und Teilfrage die häufigste Stufe (0 bis 7) und ihr Anteil, geordnet nach Fragenfamilie (Farbe) oder nach den Wegen des Atlas. Ab Stufe 4 liefert der Bericht Belege, Stufe 3 ist Hintergrund (gestrichelt). Was die Stufen bedeuten, steht in der Legende.

Ansicht
Filter
Modelle 8 von 8
Angezeigte Modelle

Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.

Weitere Berichte zu diesen Fragen

Eigene Zusammenfassungen und Einordnungen von AMANi DUNiA. Fremde Originalberichte behalten ihre eigenen Rechte.

Sprache und Prüfstand

Haupttext: DE. Prüfvermerke gelten nur für den jeweils genannten Inhalt.

Vorhandene Prüfvermerke stehen am jeweiligen Inhalt.

Sprachabdeckung und Datenstand ansehen →