I’ve Created a Custom ChatGPT That Scrapes Data from Websites
Zusammenfassung
Kurz
Frank Andrade beschreibt, wie ChatGPT aus einer als PDF gespeicherten Webseitenliste ausgewählte Angaben extrahieren und als CSV ausgeben kann; ein wiederverwendbares GPT soll diesen Ablauf vereinfachen. Er berichtet jedoch von unvollständigen PDFs und fehlenden Einträgen sowie davon, dass seine GPT-Builder-Version bei komplexen Prompts schlechter abschnitt als GPT-4 im direkten Test.
Mittel
Frank Andrade stellt einen Weg vor, Daten aus Webseitenlisten mit ChatGPT zu sammeln: Statt den HTML-Quelltext zu analysieren, speichert man eine Ergebnisseite als PDF, lädt sie hoch und nennt die Felder eines Beispiel-Eintrags. ChatGPT soll dieselben Angaben für die übrigen Einträge ermitteln, tabellarisch ausgeben und als CSV exportieren. Fehlende Werte sollen als null erscheinen; bei mehreren Preisen soll nur der erste übernommen werden.
Der Autor zeigt den Ablauf anhand von Udemy-Suchergebnissen und einer Amazon-Suche. Für eine Wiederverwendung richtet er ein GPT namens ScrapeGPT ein, hinterlegt die angepasste Anweisung und aktiviert den Code Interpreter. Er weist darauf hin, dass Chrome bei manchen Webseiten unvollständige PDFs erzeugen könne; nach seiner Erfahrung funktioniere Safari dabei zuverlässig.
Die Methode sei nicht für jede Website geeignet. In seinem Amazon-Test fehlten Einträge in der CSV. Andrade berichtet, dass GPT-4 beim direkten Test vollständiger extrahiert habe als seine mit dem GPT Builder erstellten GPTs; bei komplexen Prompts habe er außerdem Hänger und Fehlermeldungen beobachtet. Der Beitrag dokumentiert persönliche Versuche, aber keine systematische Genauigkeitsmessung oder Garantie für vollständige Ergebnisse.
Ausführlich lesen
Frank Andrade beschreibt in seinem Beitrag, wie sich Daten aus Listen auf Webseiten mit ChatGPT extrahieren lassen. Sein Ansatz verwendet gespeicherte PDF-Dateien statt HTML: Man öffnet etwa eine Suchergebnisseite, speichert sie als PDF und lädt die Datei in ChatGPT hoch. In der Eingabe nennt man die Angaben, die aus dem ersten Eintrag ausgelesen werden sollen, beispielsweise Kurstitel, Lehrkraft, Bewertung und Dauer. ChatGPT soll diese Felder anschließend für weitere Einträge erfassen, in einer Tabelle zusammenstellen und als CSV ausgeben. Fehlende Angaben sollen leer beziehungsweise als null vermerkt werden; bei mehreren Preisen soll nur der erste berücksichtigt werden.
Andrade demonstriert das Verfahren zunächst anhand von Udemy-Kursen. Er erklärt, wie sich eine Seite in Chrome oder Edge über die Druckfunktion im Querformat als PDF speichern lässt; Safari bietet den Export als PDF. Seiner Erfahrung nach können Chrome-PDFs bei manchen Seiten unvollständige Abschnitte enthalten, weshalb er in solchen Fällen Safari oder einen anderen Browser empfiehlt. Er sieht den Vorteil des Verfahrens darin, dass Nutzer keine einzelnen HTML-Elemente benennen müssen, wie es bei einem früheren HTML-basierten Vorgehen erforderlich gewesen sei.
Anschließend beschreibt Andrade, wie sich eine wiederverwendbare GPT-Version namens ScrapeGPT einrichten lässt: Die angepasste Extraktionsaufforderung wird in den Anweisungen eines neu erstellten GPT hinterlegt, und als Fähigkeit aktiviert er den Code Interpreter. Zum Beispiel mit einer Amazon-Suchergebnisseite für „play station“ lässt er eine CSV-Datei erstellen.
Der Beitrag benennt zugleich Einschränkungen. Der PDF-Ansatz eigne sich laut Andrade nicht für alle Webseiten. Bei seinem Amazon-Beispiel fehlten nach einer Kontrolle Einträge in der exportierten CSV. Er berichtet außerdem, dass GPT-4 bei einem direkten Test alle Einträge extrahiert habe, während eigens mit dem GPT Builder erstellte GPTs in seinen Versuchen weniger leistungsfähig gewesen seien. Bei komplexeren Aufforderungen seien manche sogar hängen geblieben oder hätten Fehlermeldungen angezeigt. Diese Beobachtungen beruhen auf seinen Tests; der Artikel liefert keine systematische Auswertung, Messwerte zur Genauigkeit oder allgemeine Garantie für vollständige Ergebnisse. Als praktische Anleitung zeigt er daher einen einfachen Arbeitsablauf, weist aber darauf hin, dass PDF-Vollständigkeit und Extraktionsergebnis überprüft werden sollten.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Geprüft wurden beide von Luna gelieferten Zusammenfassungen; beide geben den Bericht im Kern treu wieder. Eine Teilfrage-Einordnung lag nicht vor, daher wurden nur die drei Sammelfragen bewertet.
Im Bericht, aber nicht in der Zusammenfassung
- Das Verfahren besucht die Website nicht selbst, sondern arbeitet nur mit der gespeicherten PDF-Datei
- Die kurze Zusammenfassung erwähnt nicht, dass die Methode nicht für alle Websites geeignet ist
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 51 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 62 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V1 Was zählt als Beleg für die Werte eines Modells, wenn sein sichtbares Denken und seine Selbstauskünfte allein nicht genügen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 60 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 43 %gleiches Oberthema, hilft nicht
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Agenten und vernetzte Systeme
- SF-A1 Welche Befugnisse darf ein KI-Agent haben, also eine KI, die selbstständig mit Werkzeugen handelt? Wer entzieht sie ihm, und wie prüft man, dass er in seinem Auftrag bleibt?
- clef 100 %kein Bezug
- Luna 24 %Hintergrund, keine Belege
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H1 Wo endet die erlaubte Nutzung fremder Modellausgaben, und wo beginnt unerlaubte Destillation, also das Trainieren eines eigenen Modells mit diesen Ausgaben?
- clef 100 %kein Bezug
- Luna 38 %gleiches Oberthema, hilft nicht
- JEV
- amos 44 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-H2 Was darf offen veröffentlicht werden, und wer ist verantwortlich, wenn ein offenes Modell anderswo Schaden anrichtet?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 46 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Beteiligung und Gemeinwohl
- SF-E4 Wie bleibt KI ein gemeinsames Gut, statt Abhängigkeit und Marktmacht zu vertiefen?
- clef 100 %kein Bezug
- Luna 44 %gleiches Oberthema, hilft nicht
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Information und Öffentlichkeit
- SF-I1 Wie erkennt man KI-erzeugte Inhalte und KI-erzeugte Einflussnahme, ohne die Meinungsfreiheit zu beschneiden?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 49 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug