A Simple Guide to Scikit-Learn — Building a Machine Learning Model in Python
Zusammenfassung
Kurz
Der Bericht zeigt, wie der Autor IMDB-Rezensionen ausbalanciert, mit TF-IDF in Zahlenvektoren umwandelt und vier Klassifikationsmodelle vergleicht. Die SVM erzielt laut Bericht mit 0,84 die höchste Genauigkeit; eine Grid Search findet C=1 und einen linearen Kernel, doch eine Testbewertung dieser optimierten Variante wird nicht angegeben.
Mittel
Der Beitrag führt anhand von IMDB-Filmkritiken in die Textklassifikation mit scikit-learn ein. Der Autor nimmt aus einem Datensatz mit 50.000 Rezensionen eine Stichprobe aus 9.000 positiven und 1.000 negativen Kritiken, gleicht sie durch Unterabtastung auf je 1.000 Beispiele aus und teilt sie in Trainings- und Testdaten. Er erläutert Bag of Words sowie CountVectorizer und TF-IDF und verwendet TF-IDF mit entfernten englischen Stoppwörtern, um Texte in numerische Merkmale umzuwandeln.
Verglichen werden SVM, Entscheidungsbaum, Gaussian Naive Bayes und logistische Regression. Die berichteten Genauigkeiten lauten 0,84, 0,64, 0,63 und 0,83; für die SVM werden außerdem F1-Werte von 0,84 und 0,83 für die beiden Klassen sowie eine Konfusionsmatrix angegeben. Eine fünffache Grid Search ergibt laut Autor C=1 und einen linearen Kernel. Der Beitrag konzentriert sich auf Code statt auf die Theorie der Modelle. Die Ergebnisse gelten für die beschriebene Stichprobe; eine Testbewertung des optimierten Modells wird nicht gezeigt.
Ausführlich lesen
Der Bericht ist eine praktische Einführung in scikit-learn anhand einer binären Textklassifikation: Ein Modell soll anhand einer IMDB-Filmkritik vorhersagen, ob sie positiv oder negativ ist. Der Autor beschreibt scikit-learn als Python-Bibliothek mit Verfahren für überwachtes und unüberwachtes Lernen. Für das Beispiel verwendet er einen Kaggle-Datensatz mit 50.000 Rezensionen und den Spalten „review“ und „sentiment“.
Um das Training zu beschleunigen, bildet der Autor eine Stichprobe aus 9.000 positiven und 1.000 negativen Kritiken. Weil diese Auswahl unausgewogen ist, gleicht er die Klassen mit `RandomUnderSampler` aus: Die positiven Rezensionen werden auf 1.000 reduziert, sodass je 1.000 Beispiele pro Klasse verbleiben. Als Alternative zeigt er eine manuelle Zufallsauswahl. Anschließend teilt er die Daten mit `train_test_split` in 67 Prozent Trainings- und 33 Prozent Testdaten.
Für die Umwandlung des Textes in Zahlen erläutert der Beitrag Bag of Words und stellt `CountVectorizer` dem TF-IDF-Verfahren gegenüber. Der Autor wählt TF-IDF, entfernt englische Stoppwörter und passt den Vektorisierer nur an den Trainingsdaten an; die Testdaten werden mit denselben Parametern transformiert. So entstehen laut Bericht für das Training 1.340 Rezensionen und ein spärlich besetzter Merkmalsraum mit 20.625 Wörtern.
Da Rezensionen und Stimmungslabels vorliegen, ordnet der Autor die Aufgabe dem überwachten Lernen und genauer der Klassifikation zu. Er trainiert vier Modelle: lineare Support Vector Machines (SVM), Entscheidungsbaum, Gaussian Naive Bayes und logistische Regression. Die berichteten Genauigkeiten auf dem Testdatensatz betragen 0,84 für SVM, 0,64 für den Entscheidungsbaum, 0,63 für Naive Bayes und 0,83 für logistische Regression. Der Beitrag bewertet SVM damit knapp am besten und betrachtet anschließend nur dieses Modell näher. Für die SVM nennt er klassenbezogene F1-Werte von 0,84 für positive und 0,83 für negative Kritiken. Der Klassifikationsbericht weist insgesamt 0,84 Genauigkeit aus; die Konfusionsmatrix lautet [[290, 45], [60, 265]].
Zum Schluss beschreibt der Autor `GridSearchCV` mit fünffacher Kreuzvalidierung und einer Suche über ausgewählte C-Werte und lineare beziehungsweise RBF-Kernel. Als beste Kombination berichtet er C=1 und einen linearen Kernel. Der Beitrag ist ausdrücklich auf Code und Modellvergleich ausgerichtet; die Theorie der einzelnen Algorithmen bleibt der eigenen Recherche überlassen. Die präsentierten Ergebnisse beziehen sich auf die beschriebene, ausgeglichene Stichprobe und die gewählten Einstellungen. Eine Bewertung der per Grid Search gefundenen Variante auf dem Testdatensatz wird nicht berichtet.
Gegengeprüft von Claude Haiku 5.5: kleine Mängel
Luna lieferte zwei Zusammenfassungen; beide wurden geprüft. Die mittlere ist treu, die kurze lässt zentrale Angaben aus. Die Einordnung betrifft nur die beiden Sammelfragen, Teilfragen gab es keine.
Im Bericht, aber nicht in der Zusammenfassung
- Kurzfassung: die unausgewogene Stichprobe mit 9000 positiven zu 1000 negativen Rezensionen und die Genauigkeiten der übrigen Modelle fehlen
Wie die Modelle den Bericht einordnen
Ansicht
Filter
Fähigkeiten messen
- SF-F1 Wie misst man gefährliche Fähigkeiten eines Modells, vor allem im Cyberbereich, mit gemeinsam anerkannten, wiederholbaren Tests, die keine Sprache, Kultur oder Seite bevorzugen?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 50 %gleiches Oberthema, hilft nicht
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
Tempo und Grenzen
- SF-T3 Woran erkennt man, dass KI beginnt, ihre eigene Weiterentwicklung voranzutreiben, und wer darf das erlauben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 57 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
Vertrauen in Modelle
- SF-V3 Halten die Werte eines Modells, wenn niemand zusieht oder die Lage neu ist?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 25 %Hintergrund, keine Belege
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 44 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- SF-V4 Was für ein Wesen ist ein Modell, und was folgt daraus für den Umgang mit ihm und für den Wert des Menschseins?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 29 %gleiches Oberthema, hilft nicht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- SF-V5 Was soll heute für das Verhalten und den Betrieb von Modellen gelten?
- clef 100 %kein Bezug
- Luna 37 %gleiches Oberthema, hilft nicht
- JEV 100 %kein Bezug
- amos 51 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 50 %gleiches Oberthema, hilft nicht
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung gleiches Oberthema, hilft nicht
Modelle teilen und schützen
- SF-H3 Wie lässt sich nachverfolgen, woraus ein Modell entstanden ist und was in ihm steckt?
- clef 100 %kein Bezug
- Luna 55 %einzelne zitierbare Belege
- JEV 34 %beantwortet teilweise oder widerspricht
- amos 100 %kein Bezug
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug
- Haiku-Prüfung Hintergrund, keine Belege
Beteiligung und Gemeinwohl
- SF-E5 Welche Mitsprache haben die Menschen, die mit KI leben, bei Tempo und Grenzen, und welche Entscheidungen müssen bei ihnen bleiben?
- clef 100 %kein Bezug
- Luna 100 %kein Bezug
- JEV 100 %kein Bezug
- amos 50 %gleiches Oberthema, hilft nicht
- SubQ 100 %kein Bezug
- drex 100 %kein Bezug
- d3-ultra 100 %kein Bezug