I Found a Loophole to (Successfully) Web Scrape Using ChatGPT. Here’s How it Works
Zusammenfassung
Kurz
Der vollständige Bericht erklärt, wie präzise Angaben zur HTML-Struktur ChatGPT beim Erstellen von Scraping-Code für eine Filmseite, Amazon und Twitter helfen sollen. Der Autor berichtet von erfolgreichen Beispielen, weist aber auf nötige Wartezeiten, Scrollen und manuelle ChromeDriver-Einrichtung hin; die Behauptung, der Ansatz funktioniere für beliebige Websites, wird nicht umfassend belegt.
Mittel
Frank Andrade beschreibt, wie ChatGPT beim Erstellen von Python-Skripten zum Web-Scraping helfen soll. Ein allgemeiner Prompt funktioniere laut ihm oft nicht. Stattdessen solle man die HTML-Struktur der Zielseite im Browser untersuchen und ChatGPT konkrete Tags, Klassen oder Attribute nennen. Der Autor empfiehlt dafür den damaligen OpenAI Playground.
An drei Beispielen erläutert er das Vorgehen: Mit Beautiful Soup liest ein Skript Filmtitel aus Links einer Liste aus; mit Selenium ruft es Buchtitel aus einer Amazon-Suche ab; ein weiteres Selenium-Skript sammelt Tweets aus einer Twitter-Suche. Für die dynamischen Seiten nennt der Artikel Wartezeiten. Bei Twitter müsse man zusätzlich Scrollvorgänge anweisen, wenn mehr als die ersten zwei oder drei Tweets erfasst werden sollen. Nach eigener Aussage ergänzte der Autor bei den Selenium-Beispielen den Pfad zum ChromeDriver selbst.
Der Bericht behauptet, die Beispiele hätten funktioniert. Der Anspruch, damit beliebige Websites scrapen zu können, wird jedoch nur anhand dieser drei Fälle illustriert. Allgemeine Zuverlässigkeit oder weitere Grenzen werden nicht systematisch geprüft.
Ausführlich lesen
Der vollständige Bericht stellt einen Ansatz vor, mit ChatGPT Python-Code zum Auslesen von Webseiten erstellen zu lassen. Frank Andrade behauptet, einfache Aufforderungen wie „scrape website X“ funktionierten bei vielen Seiten kaum. Sein Vorschlag: zuerst im Browser die HTML-Struktur der gewünschten Inhalte untersuchen und ChatGPT anschließend genau Tag, Klassen oder Attribute nennen, nach denen der Code suchen soll. Als Umgebung empfiehlt er das damalige OpenAI Playground, das laut Autor schneller arbeite und weniger Einschränkungen habe als die gewöhnliche ChatGPT-Oberfläche.
Der Leitfaden führt den Ansatz an drei Beispielen vor. Bei einer Filmseite soll ChatGPT mit Python, Requests und Beautiful Soup die Texte von Links innerhalb einer Liste mit der Klasse „scripts-list“ auslesen. Für Amazon verwendet der Autor Selenium: Das Skript öffnet eine zuvor erstellte Suche nach Selbsthilfebüchern, wartet fünf Sekunden und liest Titel aus Span-Elementen mit einer bestimmten Klasse aus. Für Twitter lässt er Selenium eine Suche nach „ChatGPT“ öffnen, das Fenster maximieren, 15 Sekunden warten und Texte aus Div-Elementen mit einem Sprachattribut ausgeben. Nach eigener Darstellung musste er bei den Selenium-Beispielen den Speicherort des ChromeDriver selbst ergänzen. Um bei Twitter mehr als die ersten zwei oder drei sichtbaren Tweets zu erhalten, müsse man ChatGPT außerdem anweisen, wiederholt nach unten zu scrollen.
Das Vorgehen verbindet also die Inspektion des Seitenquelltexts mit präzisen Anweisungen zur Elementauswahl und zur verwendeten Python-Bibliothek. Der Bericht behauptet, die generierten Skripte hätten in den gezeigten Beispielen die gewünschten Titel beziehungsweise Tweets extrahiert. Seine Grenzen werden nur teilweise ausgeführt: Ein allgemeines Scraping-Prompt reiche nach den Erfahrungen des Autors oft nicht; dynamische Seiten erforderten Wartezeiten und gegebenenfalls Scrollen, und die Einrichtung des Treibers sei manuell nötig. Obwohl der Titel einen Ansatz für „jede“ Website verspricht, zeigt der Artikel nur drei konkrete Seiten und belegt keine allgemeine Funktionsfähigkeit. Er behandelt außerdem weder eine systematische Fehlerprüfung noch die rechtlichen oder technischen Bedingungen des Scrapings. Am Ende bewirbt der Autor einen kostenlosen Spickzettel gegen Anmeldung zu seinem E-Mail-Verteiler sowie eine kostenpflichtige Medium-Mitgliedschaft.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Lunas Sammelfragen- und Teilfragen-Einordnung ist leer, weil keine Fragen angegeben waren; deshalb gibt es hier keine Einordnung. Die Bewertung der Zusammenfassung bezieht sich auf die mittlere Fassung. Die kurze Fassung enthält keine erfundenen Angaben und ist ebenfalls im Wesentlichen treu.
Im Bericht, aber nicht in der Zusammenfassung
- Der Autor nennt den Playground schneller und weniger eingeschränkt als die normale ChatGPT-Ansicht.
- Der Autor stellt den Ansatz als Weg dar, Websites ohne selbst geschriebenen Code scrapen zu lassen.
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 56 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 46 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug