Web Scraping Cheat Sheet (2022), Python for Web Scraping
Zusammenfassung
Kurz
Der vollständige Bericht erklärt Python-Web-Scraping anhand von HTML, XPath sowie Beautiful Soup, Selenium und Scrapy. Er ergänzt die Werkzeugübersicht um Python-Grundlagen zur Verarbeitung, Fehlerbehandlung und Speicherung von Daten; als Grenzen nennt er unter anderem Beautiful Soups fehlende Unterstützung für JavaScript-gesteuerte Seiten und die höhere Einstiegshürde von Scrapy.
Mittel
Der vollständige Bericht führt in Web Scraping mit Python ein: von HTML-Tags, Attributen und Baumstrukturen über XPath bis zur Nutzung von Beautiful Soup, Selenium und Scrapy. Der Autor empfiehlt Beautiful Soup als Einstieg. Mit Requests und lxml lässt sich Seiteninhalt laden und durchsuchen; `find()` sucht den ersten, `find_all()` alle passenden Treffer. `.text` und `get_text()` liefern Text, Attribute wie Links können separat ausgelesen werden. Als Grenze nennt der Artikel, dass Beautiful Soup keine JavaScript-gesteuerten Seiten verarbeitet.
XPath hilft, Elemente auch über Attribute und Funktionen wie `contains` zu finden. Selenium steuert einen Browser und soll laut Autor bei dynamischen, JavaScript-gesteuerten Seiten helfen; Wartebedingungen sollen sicherstellen, dass Elemente geladen sind. Scrapy wird als leistungsstark, aber komplexer beschrieben. Der Leitfaden zeigt Projektaufbau, Spider, XPath-Abfragen, `yield` und Exporte nach CSV oder JSON.
Weitere Abschnitte behandeln Listen, Schleifen, Bedingungen, Datei- und Pandas-Export, Fehlerbehandlung und While-Schleifen. Der Text ist eine Anleitung mit Beispielen, kein systematischer Vergleichstest. Er weist auf den Versionswechsel zu Selenium 4 hin und verweist für Änderungen auf ein separates PDF; die Beispiele werden nicht auf spätere Versionen geprüft.
Ausführlich lesen
Der vollständige Bericht ist ein praxisorientierter Leitfaden für Web Scraping mit Python. Er erklärt, wie Daten aus Webseiten gewonnen werden, und führt von den nötigen HTML-Grundlagen über drei verbreitete Werkzeuge bis zu Python-Grundlagen für die Verarbeitung und Speicherung der Ergebnisse. Der Autor betont, dass Scraping neben Python auch Kenntnisse über HTML, XPath und die jeweiligen Bibliotheken erfordert.
Zunächst erläutert der Artikel HTML-Elemente aus Tags, Attributen und Inhalten sowie die Baumstruktur mit Eltern-, Kind-, Geschwister-, Vorfahren- und Nachfahrenknoten. Dieses Verständnis soll dabei helfen, die gesuchten Daten in einer Seite oder in deren Struktur zu finden.
Für Einsteiger empfiehlt der Autor Beautiful Soup. Zusammen mit Requests und lxml wird damit Seiteninhalt geladen und geparst. `find()` liefert den ersten passenden Treffer, `find_all()` alle passenden Treffer; Text lässt sich über `.text` oder flexibler mit `get_text()` auslesen. Auch Attribute wie Links können abgefragt werden. Als Einschränkung nennt der Bericht, dass Beautiful Soup allein keine JavaScript-gesteuerten Seiten abruft.
XPath wird als Abfragesprache zum Auffinden von Knoten vorgestellt und als Grundlage für Selenium und Scrapy eingeordnet. Der Leitfaden zeigt einfache Pfade sowie `contains` und die logischen Operatoren `and` und `or`, mit denen sich Elemente anhand ihrer Attribute auswählen lassen.
Selenium wird laut Autor für JavaScript-gesteuerte Seiten benötigt. Der Artikel beschreibt Browsersteuerung, das Suchen einzelner oder mehrerer Elemente, das Auslesen von Text, Wartezeiten und Optionen wie den Headless-Modus. Bei dynamisch geladenen Inhalten sollen Wartebedingungen helfen, bevor auf Elemente zugegriffen wird. Zum Artikel gehört der Hinweis, dass Selenium 4 kurz zuvor erschienen sei und sich nur in wenigen Punkten von Version 3.x unterscheide; für Änderungen verweist der Autor auf ein separates PDF. Die gezeigten Beispiele und Methoden werden nicht systematisch auf spätere Selenium-Versionen geprüft.
Scrapy bezeichnet der Autor als leistungsstärkstes, aber schwieriger einzurichtendes der drei Werkzeuge. Beschrieben werden Installation über Conda, Projekt und Spider, das Finden von Elementen mit XPath, die Ausgabe per `yield` und der Export nach CSV oder JSON. Der Artikel empfiehlt Conda, weil eine einfache pip-Installation Probleme verursachen könne, besonders unter Windows.
Abschließend behandelt der Bericht Python-Listen und Indizes, Schleifen und Bedingungen, Dateiausgabe, Pandas-Dataframes, Try-Except zur Behandlung von Fehlern und While-Schleifen als mögliche Hilfe bei der Seitennavigation. Es handelt sich um eine erklärende Übersicht mit Codebeispielen, nicht um einen dokumentierten Vergleichstest: Messwerte oder systematische Ergebnisse werden nicht berichtet. Der Autor weist außerdem auf die Grenzen der Werkzeuge hin, geht aber nicht umfassend auf weitere praktische oder rechtliche Rahmenbedingungen des Scrapings ein.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte drei Fassungen (kurz, mittel, und die Zusammenfassung ist als mittel gekennzeichnet); geprüft wurde die mittlere Fassung. Da keine Sammel- oder Teilfragen angegeben waren, bleibt die Einordnung leer.
Im Bericht, aber nicht in der Zusammenfassung
- Der Hinweis, dass Scrapy Pagination einfacher handhabt, während Selenium und Beautiful Soup dafür eine While-Schleife als Workaround brauchen.
- Die Installationsempfehlung für Scrapy über Anaconda/conda-forge statt pip wegen möglicher Installationsprobleme.
- Die Baumstruktur-Begriffe (Eltern-, Kind- und Geschwisterknoten), die als Vorbereitung auf XPath dienen.
In der Zusammenfassung, laut Prüfung nicht im Bericht belegt
- Die Aussage, die Beispiele würden nicht auf spätere Versionen geprüft, steht so nicht im Bericht.
- Die Charakterisierung, der Text sei kein systematischer Vergleichstest, ist eine eigene Wertung und keine Angabe des Berichts.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Kein Modell sieht bei diesem Bericht einen Bezug zu einer der 44 Sammelfragen.