Die Bedeutung von Feature Engineering innerhalb eines Pipeline-Modells wird in einem neuen Leitfaden hervorgehoben. Der Autor betont, dass jeder Schritt nur auf Trainingsdaten angepasst wird, wodurch das Modell fair bewertet werden kann.
In der Vergangenheit traten bei der Nutzung von scikit-learn häufig Fehler auf, die nicht im Modell selbst, sondern in der Datenvorverarbeitung lagen. Oft wurde eine Spalte in einer Notebook-Zelle skaliert, eine Kategorie in einer anderen kodiert und das Modell an einer weiteren Stelle angepasst. Dies führte zu einem positiven Cross-Validation-Ergebnis, das jedoch bei neuen Daten nicht bestand. Der Grund dafür war, dass die Vorverarbeitung bereits mit den Validierungsdaten in Kontakt gekommen war, bevor das Modell diese sah.
Die Lösung bestand nicht darin, mehr über Transformatoren zu lernen, sondern zu verstehen, wo sie eingesetzt werden sollten. Wenn das Feature Engineering in einer Pipeline integriert ist, wird jeder Schritt nur auf den Trainingsdaten angepasst, was zu einer realistischen Bewertung des Modells führt. Der neue Leitfaden bietet eine Zusammenstellung von Elementen, die in diese Kette integriert werden können.
Wichtige Komponenten des Leitfadens
Die am häufigsten verwendeten Komponenten sind oft die strukturellen, die auf den ersten Blick langweilig erscheinen. Der ColumnTransformer ermöglicht es, numerische und kategoriale Spalten getrennt zu behandeln, ohne das Datenrahmen manuell aufteilen zu müssen. Mit make_column_selector können Spalten basierend auf ihrem Datentyp ausgewählt werden, was bedeutet, dass das Hinzufügen einer neuen Spalte keine Anpassung der Pipeline erfordert. Der SimpleImputer mit add_indicator=True ist eine nützliche Kombination, da das Muster der fehlenden Werte oft signifikante Informationen liefert.
Auf der Seite der Kategorisierung hat handle_unknown=“ignore“ im OneHotEncoder dazu beigetragen, viele Abstürze während der Vorhersagezeit zu vermeiden. Der TargetEncoder wird als Standard verwendet, wenn die Kardinalität so hoch ist, dass die One-Hot-Kodierung nicht mehr sinnvoll ist.
Zusätzliche nützliche Funktionen
Weitere Funktionen verdienen ihren Platz aus unterschiedlichen Gründen. set_output(transform=“pandas“) und get_feature_names_out() sind die schnellsten Möglichkeiten, um zu sehen, was die Pipeline tatsächlich erstellt hat. Dies ist besonders wichtig, wenn ein ColumnTransformer und ein PolynomialFeatures-Schritt mehrere Spalten in eine große Anzahl umwandeln. Die Syntax von GridSearchCV ist ebenfalls von Bedeutung: Sobald die Vorverarbeitung im Schätzer integriert ist, wird eine Imputationsstrategie zu einem Hyperparameter wie jeder andere, was eine gleichzeitige Feinabstimmung mit der Regularisierungsstärke ermöglicht.
Dieser Leitfaden fasst all diese Schritte an einem Ort zusammen und enthält die relevanten Argumente sowie die, die häufig vergessen werden.
„`
Quellen: kdnuggets
Bildquelle: KI generiert
Dieser Text wurde mit Hilfe von künstlicher Intelligenz in Zusammenarbeit mit unserer Redaktion erstellt.
🚀