Die Reaktionen auf die Nutzung von Polars sind häufig von Frustration geprägt. Viele Anwender stehen vor der Herausforderung, dass ihre Datensätze zwar auf der Festplatte Platz finden, jedoch nicht im Arbeitsspeicher verarbeitet werden können. Zudem kommt es vor, dass Transformationen nur auf einem Kern ausgeführt werden, während andere Kerne untätig bleiben. Polars, eine DataFrame-Bibliothek, die in Rust auf dem Apache Arrow-Speicherformat basiert, bietet hier eine Lösung. Die Geschwindigkeit von Polars resultiert weniger aus der Programmiersprache selbst, sondern vielmehr aus dem zugrunde liegenden Modell. Dieses Modell ermöglicht es, die Arbeit in Form von Ausdrücken zu beschreiben, die der Abfrage-Engine von Polars eine effiziente Planung und Ausführung über alle verfügbaren Kerne hinweg ermöglicht.
Funktionsweise von Polars
Ein zentrales Konzept von Polars ist die Funktion scan_csv, die im Gegensatz zu read_csv nicht sofort alle Daten in den Arbeitsspeicher lädt. Stattdessen liest scan_csv zunächst nur die Kopfzeile und wartet auf weitere Anweisungen. Alle nachfolgenden Befehle beschreiben lediglich die Absicht des Nutzers, ohne dass sofortige Ausführungen stattfinden. Erst mit dem Befehl collect wird die Abfrage tatsächlich ausgeführt, was der Optimierungsengine ermöglicht, Filter direkt auf die Datei anzuwenden und nur die benötigten Spalten zu lesen. Bei Dateien, die größer als der verfügbare Arbeitsspeicher sind, verarbeitet collect(engine=“streaming“) die Daten in Blöcken, anstatt die Verarbeitung abzubrechen.
Aggregation und Fensterfunktionen
Ein weiteres wichtiges Konzept ist die Funktion over, die eine Aggregation pro Gruppe durchführt, jedoch für jede Zeile einen Wert zurückgibt. Dies bedeutet, dass die Berechnung des Anteils einer Region am Gesamtergebnis oder das Ranking innerhalb einer Kategorie ohne separate groupby– und join-Behandlungen erfolgt. Diese Fensterfunktion lässt sich wie ein normaler Spaltenausdruck lesen.
Umgang mit fehlenden Werten
Ein häufiges Missverständnis betrifft den Umgang mit fehlenden Werten in Polars. Hierbei bedeutet null „fehlend“, während NaN einen tatsächlichen Float-Wert darstellt. Diese unterschiedlichen Zustände erfordern verschiedene Methoden, und die Annahme, dass sie gleich behandelt werden können, führt oft zu Verwirrung.
Umfassende Funktionalitäten von Polars
Das Cheat Sheet bietet einen umfassenden Überblick über die grundlegenden Funktionen von Polars. Dazu gehören:
- Die Kernbefehle select, filter und with_columns
- Gruppierung und Umformung durch group_by, agg, pivot und unpivot
- Bedingte Logik mit when/then/otherwise
- Joins, einschließlich semi und anti, die ohne Erweiterung eines Frames filtern
- Die .str und .dt Namensräume für typenspezifische Operationen
- Die Ausgabe mit sink_parquet, die direkt aus einem faulen Frame schreibt, ohne ihn vorher zu materialisieren
- Die Funktionen to_pandas und to_arrow, die eine Integration mit bestehenden Pandas-Anwendungen ermöglichen
Das Herunterladen des Cheat Sheets zu Polars ermöglicht es Nutzern, ihre Datenverarbeitung sofort zu optimieren und effizienter zu gestalten.
Quellen: kdnuggets
Bildquelle: KI generiert
Dieser Text wurde mit Hilfe von künstlicher Intelligenz in Zusammenarbeit mit unserer Redaktion erstellt.
🚀