Datenwissenschaftler verbringen oft mehr Zeit damit, ihre Werkzeuge zu bekämpfen, als Probleme zu lösen. Von der Unterabtastung von Datensätzen, die nicht in den Speicher passen, bis hin zur mühsamen Bereitstellung von Machine-Learning-Modellen für Endbenutzer – die Herausforderungen sind vielfältig. Ein Artikel beleuchtet acht praktische Methoden in BigQuery, die darauf abzielen, diese Hürden zu überwinden und den Fokus auf die Analyse zu legen.
Maschinelles Lernen in Tabellenkalkulationen
Viele Datenanalysen beginnen und enden in Tabellenkalkulationen. Connected Sheets ermöglicht die Analyse von Milliarden von Zeilen BigQuery-Daten direkt aus der Google Sheets-Oberfläche. Berechnungen, Diagramme und Pivot-Tabellen werden von BigQuery im Hintergrund ausgeführt. Darüber hinaus können über Connected Sheets auch mit BigQuery Machine Learning (BQML) erstellte Modelle genutzt werden. So können Geschäftsanwender beispielsweise mit einer einfachen Tabellenkalkulationsformel eine Preisvorhersage für Immobilien erhalten, ohne Code schreiben zu müssen.
Kostenlose BigQuery-Sandbox und Colab-Notebooks
Der Einstieg in BigQuery wird durch die kostenlose Sandbox erleichtert, die das Abfragen von bis zu einem Terabyte Daten pro Monat ohne Kreditkartenangabe ermöglicht. Datenwissenschaftler können von Colab-Notebooks aus auf ihre BigQuery-Sandbox zugreifen, SQL-Abfragen ausführen und die Ergebnisse für die Analyse in Python DataFrames laden. Die Notebook-Umgebung kann zudem als KI-Partner für die Analyseplanung und Codeerstellung dienen.
Ihr KI-gestützter Partner in Colab-Notebooks
Colab-Notebooks sind jetzt KI-zentriert gestaltet, um Arbeitsabläufe zu beschleunigen. Sie können Code aus natürlicher Sprache generieren, Fehlererklärungen erhalten und direkt neben dem Code mit einem Assistenten chatten. Der integrierte Data Science Agent kann bei der Erstellung von Modellen unterstützen, indem er basierend auf einem Datensatz und einem Ziel wie „Kundenabwanderung vorhersagen“ einen Plan mit Codevorschlägen erstellt.
Skalierung von Pandas-Workflows mit BigQuery DataFrames
BigQuery DataFrames bietet eine Python-API, die Pandas ähnelt. Befehle werden in SQL übersetzt und auf der BigQuery-Engine ausgeführt, wodurch die Arbeit mit Terabyte-großen Datensätzen ohne Speicherbeschränkungen möglich wird. Ähnlich verhält es sich mit der Modellschulung, die über eine scikit-learn-ähnliche API direkt in BigQuery ML durchgeführt werden kann.
Spark ML in BigQuery Studio Notebooks
Serverless for Apache Spark ermöglicht die Ausführung von Spark-Code, einschließlich Bibliotheken wie XGBoost, PyTorch und Transformers, ohne die Notwendigkeit, Cluster bereitzustellen. Die Entwicklung kann interaktiv in einem BigQuery Studio Notebook erfolgen, wobei BigQuery die Infrastruktur verwaltet.
Hinzufügen externer Kontexte mit öffentlichen Datensätzen
Durch die Verknüpfung eigener Daten mit öffentlichen Datensätzen in BigQuery können tiefere Einblicke gewonnen werden. Beispielsweise kann die Analyse von Verkaufstrends durch die Kombination mit Google Trends-Daten Aufschluss über externe Einflussfaktoren geben.
Geodatenanalyse im großen Stil
BigQuery unterstützt einen GEOGRAPHY-Datentyp und GIS-Funktionen in SQL, um standortbezogene Features zu erstellen. Die Integration mit Google Earth Engine erweitert dies um Satellitenbilder und Umweltdaten für umfassendere Modelle.
Protokolldaten verstehen
Cloud Logging-Daten können nach BigQuery geleitet werden, um unstrukturierte Protokolldaten in abfragbare Ressourcen umzuwandeln. Dies ermöglicht die Analyse von Protokollen über alle Dienste hinweg zur Fehlerdiagnose, Leistungsverfolgung oder Sicherheitsanalyse. BigQuery Vector Search kann zudem semantisch ähnliche Protokolle finden, um Muster für Anomalieerkennungsmodelle zu identifizieren.
Key Takeaways:
- Nutzen Sie Connected Sheets für die Analyse großer Datenmengen direkt in Google Sheets und integrieren Sie BQML-Modelle.
- Die BigQuery Sandbox und Colab-Notebooks bieten einen kostenlosen Einstieg und KI-gestützte Unterstützung.
- BigQuery DataFrames und Serverless Spark ermöglichen die Skalierung von Pandas- und Spark-Workflows.
- Öffentliche Datensätze und Geodatenanalyse erweitern die Möglichkeiten zur Modellbildung.
- Protokolldaten können für tiefgreifende Analysen und die Entwicklung von Anomalieerkennungsmodellen genutzt werden.
KI Snack
