A Straightforward Guide to Cleaning and Preparing Data in Python
Zusammenfassung
Kurz
Der Artikel führt anhand eines Netflix-Datensatzes durch das Erkennen fehlender Werte und möglicher Ausreißer, die Textnormalisierung und das Zusammenführen von Tabellen mit Python. Er nennt mehrere Bereinigungsmethoden, betont deren Abhängigkeit vom Projektziel und warnt, dass Fuzzy Matching falsche Zuordnungen erzeugen kann.
Mittel
Frank Andrade beschreibt anhand eines Netflix-Datensatzes mit 6.234 Zeilen und 12 Spalten grundlegende Schritte zur Datenbereinigung in Python. Er empfiehlt, zuerst Datentypen und Umfang zu prüfen und fehlende Werte mit Pandas zu zählen und als Prozentsätze darzustellen. Im Beispiel fehlen besonders viele Regieangaben (31,58 Prozent). Als Möglichkeiten nennt der Artikel das Entfernen betroffener Zeilen oder Spalten sowie das Ersetzen fehlender Werte durch Mittelwert, Median, häufigsten Wert oder einen festgelegten Wert. Welche Methode passt, hängt laut Autor von Daten und Projektziel ab.
Histogramme und Boxplots sollen mögliche Ausreißer in Filmlängen zeigen; Balkendiagramme machen seltene Kategorien sichtbar. Die vorgeschlagenen Grenzen sind Hinweise und laut Beitrag vom Zweck der Analyse abhängig. Vor dem Zusammenführen von Tabellen sollten Spaltennamen, Datentypen und Schreibweisen vereinheitlicht werden. Fuzzy Matching kann ähnliche Bezeichnungen finden, aber auch falsche Treffer liefern. Zur Textnormalisierung behandelt der Artikel Groß-/Kleinschreibung, Leerzeichen und Satzzeichen. Ein äußerer Join nach Titel und Erscheinungsjahr ergibt laut Bericht vier Gruppen: Katalogfilme und -serien sowie Netflix-Originalfilme und -serien. Weitere Bereinigung kann weiterhin nötig sein.
Ausführlich lesen
Der Bericht von Frank Andrade ist eine praktische Einführung dazu, Daten mit Python und Pandas für Analysen vorzubereiten. Als Beispiel dient ein Netflix-Datensatz von Kaggle mit 6.234 Zeilen und 12 Spalten. Der Autor behauptet, Datenwissenschaftler verwendeten rund 80 Prozent ihrer Zeit auf das Sammeln, Bereinigen und Vorbereiten von Daten. Der Artikel zeigt typische Arbeitsschritte, betont aber, dass die passende Bereinigung von den Daten und den Zielen des jeweiligen Projekts abhängt.
Zunächst empfiehlt der Autor, mit `.dtypes` die Datentypen der Spalten und mit `.shape` Umfang und Dimensionen des Datensatzes zu prüfen. Fehlende Werte lassen sich mit `.isnull().sum()` zählen und als Anteil je Spalte übersichtlicher darstellen. Im Netflix-Beispiel fehlen laut Artikel besonders häufig Angaben zu Regisseuren (31,58 Prozent), außerdem Besetzungs- und Länderangaben (9,14 beziehungsweise 7,64 Prozent). Als mögliche Behandlungen nennt der Beitrag das Entfernen von Zeilen oder Spalten, das Ersetzen numerischer Werte durch Mittelwert oder Median, das Einsetzen des häufigsten Werts bei kategorialen Daten sowie einen festgelegten Ersatzwert. Auch das Vorwärts- oder Rückwärtsübertragen vorhandener Werte wird erwähnt. Welche Methode sinnvoll ist, soll vom konkreten Anwendungsfall abhängen.
Für Ausreißer untersucht der Autor Filmdauern, nachdem er Fernsehserien herausgefiltert und Minutenwerte aus der gemischten Dauer-Spalte gewonnen hat. Histogramme und Boxplots dienen der visuellen Erkennung; Balkendiagramme können bei kategorialen Spalten seltene Kategorien sichtbar machen. Der Text nennt beim Histogramm sehr kurze Laufzeiten von 3 bis 34 Minuten und Werte über 189 Minuten als mögliche Ausreißer. Aus dem Boxplot leitet er dagegen unter 43 und über 158 Minuten als mögliche Grenzbereiche ab und demonstriert, wie sich Werte außerhalb dieses Bereichs filtern lassen. Der Beitrag kennzeichnet solche Einstufungen als projektabhängig. Für die Bewertung seltener Kategorien nennt er unter anderem „NC-17“ und „UR“ als seltene Rating-Werte.
Vor dem Zusammenführen zweier Tabellen empfiehlt der Artikel, Spaltennamen und Datentypen anzugleichen und abweichende Schreibweisen zu normalisieren. Für ähnliche, aber nicht identische Namen führt er Fuzzy Matching mit `fuzzywuzzy` vor. Die gezeigten Trefferwerte illustrieren zugleich eine Grenze: Das Verfahren kann falsche Zuordnungen liefern und erfordert daher Kontrolle. Zur Textnormalisierung behandelt der Beitrag einheitliche Groß- und Kleinschreibung, das Entfernen äußerer Leerzeichen sowie das Löschen oder Ersetzen von Satzzeichen und anderen Zeichen per regulärem Ausdruck.
Abschließend verbindet der Autor Netflix-Originale mit dem Katalog über Titel und Erscheinungsjahr, verwendet einen äußeren Join, ergänzt fehlende Original-Kennzeichnungen als „Catalog“ und entfernt Duplikate. Als Ergebnis berichtet er 3.763 Katalogfilme, 1.466 Katalogserien, 504 Netflix-Originalfilme und 1.009 Netflix-Originalserien. Der Artikel stellt die Daten danach als einsatzbereit dar, weist aber zugleich darauf hin, dass je nach Projekt weitere Bereinigung nötig sein kann.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Die Zusammenfassung gibt den Bericht im Kern treu wieder; die Lücken betreffen Nebenaussagen. Die Einordnung bewertet nur den Bericht selbst, unabhängig von Lunas Stufen und Anteilen.
Im Bericht, aber nicht in der Zusammenfassung
- Die Aussage, dass rund 80 Prozent der Zeit eines Data Scientists auf Sammeln, Bereinigen und Vorbereiten von Daten entfallen
- Die Herkunft des Netflix-Datensatzes von Kaggle
- Das Entfernen von Duplikaten mit drop_duplicates nach dem Zusammenführen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Tempo und Grenzen
- SF-T1 Welche messbaren Schwellen sollen eine Pause auslösen, und wer prüft sie?
- clef 100 %kein Bezug
- Luna 39 %Hintergrund, keine Belege
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung nur am Rande erwähnt
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 49 %Hintergrund, keine Belege
- JEV 28 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht