Entwicklung eines umfassenden Portfolios für datenwissenschaftliche Projekte

„Die Projekte, die tatsächlich dazu führen, dass Menschen eingestellt werden, verfolgen einen anderen Ansatz. Sie beginnen mit einem Geschäftsproblem und enden mit einer Empfehlung, wobei sie jeden Schritt dazwischen dokumentieren.“

In der Welt der Data Science ist es entscheidend, ein Portfolio zu erstellen, das über einfache Notizen hinausgeht. Ein solches Portfolio sollte den gesamten Prozess eines Projekts abbilden, beginnend mit der Identifizierung eines Geschäftsproblems bis hin zur Präsentation einer Lösung. Ein Beispiel für ein solches Projekt ist die Vorhersage der Lieferdauer für DoorDash, das als kostenloses Projekt zur Verfügung steht und es ermöglicht, den gesamten Prozess nachzuvollziehen.

Von der Problemstellung zur Lösung

Das DoorDash-Projekt stellt eine klare Geschäftsfrage: Wie lange dauert die Lieferung eines Auftrags? Diese Fragestellung ist entscheidend, da sie sich auf die Interessen des Unternehmens konzentriert und nicht auf die verwendeten Algorithmen. Viele Portfolios scheitern bereits an diesem Punkt, indem sie sich auf technische Details konzentrieren, anstatt den geschäftlichen Kontext zu berücksichtigen. Ein umfassender Leitfaden für Einsteiger in die Datenwissenschaft kann helfen, die richtigen Prioritäten zu setzen.

Datenextraktion mit SQL

Im Rahmen des Projekts wird ein CSV-Datensatz namens historical_data.csv verwendet. In der Realität würde dieser Datensatz jedoch aus einer Datenbank abgerufen werden, und der Data Scientist wäre dafür verantwortlich, die entsprechenden SQL-Abfragen zu formulieren. Im integrierten Notebook von StrataScratch wird der Datensatz direkt abgefragt, um die benötigten Informationen zu extrahieren.

Ein Beispiel für eine SQL-Abfrage könnte wie folgt aussehen:

SELECT market_id, created_at, actual_delivery_time, store_id, store_primary_category, order_protocol, total_items, subtotal, total_onshift_dashers, total_busy_dashers, total_outstanding_orders FROM df WHERE actual_delivery_time IS NOT NULL AND actual_delivery_time > created_at;

Diese Abfrage liefert eine strukturierte Tabelle, die für die weitere Analyse bereit ist.

Datenbereinigung in Python

Die Datenbereinigung ist ein wesentlicher Schritt im Data-Science-Prozess und macht oft 60 bis 80 Prozent der Arbeit aus. Für das DoorDash-Projekt bedeutet dies, die Zielvariable zu berechnen, Datentypen zu korrigieren und fehlende sowie ungültige Werte zu behandeln. Hierbei wird die pandas-Bibliothek verwendet, um die Daten zu verarbeiten.

df["created_at"] = pd.to_datetime(df["created_at"])

Die Berechnung der Lieferdauer erfolgt durch die Differenz zwischen dem Zeitpunkt der Lieferung und dem Zeitpunkt der Auftragserstellung. Anschließend werden ungültige Werte entfernt, um eine saubere Datenbasis zu gewährleisten.

Explorative Datenanalyse

Die explorative Datenanalyse (EDA) ist der Schritt, in dem die Geschichte der Daten entdeckt wird. Hierbei werden verschiedene statistische Methoden und Visualisierungen eingesetzt, um Muster und Zusammenhänge zu identifizieren. Die Analyse der Lieferdauer kann beispielsweise zeigen, wie sie sich je nach Markt und Tageszeit unterscheidet.

df3["delivery_minutes"] = df3["delivery_duration_seconds"] / 60

Durch die Verwendung von Matplotlib und Seaborn können Histogramme und Boxplots erstellt werden, um die Verteilung der Lieferzeiten zu visualisieren.

Feature Engineering

Im nächsten Schritt erfolgt das Feature Engineering, bei dem Rohdaten in nützliche Eingaben für das Modell umgewandelt werden. Im DoorDash-Projekt werden neue Merkmale wie das Verhältnis der beschäftigten Fahrer und die geschätzte Dauer ohne Vorbereitungszeit erstellt. Diese Merkmale können entscheidend für die Vorhersagegenauigkeit sein.

df3["busy_dashers_ratio"] = df3["total_busy_dashers"] / df3["total_onshift_dashers"]

Modellaufbau

Der Aufbau des Modells sollte schrittweise erfolgen, beginnend mit einem Basismodell, das die durchschnittliche Lieferzeit vorhersagt. Von dort aus können komplexere Modelle wie XGBoost getestet werden. Der Vergleich der Modelle erfolgt anhand von Metriken wie dem Root Mean Squared Error (RMSE).

from sklearn.model_selection import train_test_split

Modellbewertung

Die Bewertung des Modells sollte ehrlich und transparent erfolgen. Anstatt sich auf eine einzige Genauigkeitszahl zu verlassen, sollten verschiedene Metriken verwendet werden, um die Leistung des Modells zu validieren. Kreuzvalidierung ist ein wichtiges Werkzeug, um sicherzustellen, dass die Ergebnisse nicht zufällig sind.

Modellbereitstellung

Ein häufiges Problem bei Portfolios ist, dass sie an diesem Punkt enden. Die Bereitstellung des Modells in einer API ermöglicht es anderen, das Modell tatsächlich zu nutzen. Durch die Verwendung von FastAPI kann eine einfache Schnittstelle erstellt werden, die Vorhersagen ermöglicht.

Dashboard-Erstellung

Der letzte Schritt besteht darin, ein Dashboard zu erstellen, das es den Nutzern ermöglicht, die Vorhersagen interaktiv zu erkunden. Mit Streamlit kann eine benutzerfreundliche Oberfläche geschaffen werden, die es ermöglicht, Eingaben zu tätigen und die Vorhersagen zu visualisieren.

Fazit

Der gesamte Lebenszyklus eines Data-Science-Projekts ist entscheidend für die Differenzierung im Bewerbungsprozess. Während viele Kandidaten in der Lage sind, ein Modell zu trainieren, sind nur wenige in der Lage, ein Projekt von der SQL-Abfrage bis zur Bereitstellung einer Anwendung mit klaren Empfehlungen zu führen. Ein Verständnis der Struktur von Datensätzen kann dabei helfen, den Programmierstil zu optimieren. Ein solches umfassendes Projekt ist für die Karriereentwicklung von unschätzbarem Wert.

„`

Quellen: kdnuggets

Bildquelle: KI generiert

Dieser Text wurde mit Hilfe von künstlicher Intelligenz in Zusammenarbeit mit unserer Redaktion erstellt.

KI Snack