Stanford University hat mit BEHAVIOR-1K einen wegweisenden Benchmark für die Robotik veröffentlicht. Ziel ist es, die Forschung in diesem Bereich auf eine einheitliche Grundlage zu stellen, ähnlich wie ImageNet für die Computer Vision. Dies soll den Fortschritt messbar machen und Innovationen vorantreiben.
Ein fehlender Standard für die Robotik
Bislang mangelt es der Robotik an einem etablierten Standard zur Messung von Fortschritten. Jede Forschungsgruppe definiert ihre eigenen Testbedingungen, was Vergleiche erschwert. BEHAVIOR-1K, entwickelt von der Stanford Vision and Learning Group unter Beteiligung von KI-Pionierin Fei-Fei Li, soll diese Lücke schließen.
Kernpunkte von BEHAVIOR-1K
- Umfasst 1.000 realistische Haushaltsaufgaben, basierend auf Umfragen zu alltäglichen Roboterhilfen.
- Beinhaltet komplexe Langzeitszenarien, die das Verketten mehrerer Handlungsschritte erfordern (z.B. Kochen, Aufräumen).
- Basiert auf über 50 interaktiven 3D-Umgebungen mit mehr als 10.000 Objekten.
- Nutzt die Behavior Domain Definition Language (BDDL) zur Formalisierung von Aufgaben.
- Ermöglicht flexible Aufgabeninstanziierung durch eine erweiterte Synset-Hierarchie.
Technische Grundlage und Simulation
Die technische Basis bildet Nvidias Isaac Sim, das auf der Omniverse-Plattform läuft und die PhysX-Engine nutzt. Darauf aufbauend ermöglicht OmniGibson, eine Open-Source-Simulationssoftware der Stanford-Gruppe, realistische Interaktionen mit verschiedenen Materialien und Objekten. Verschiedene Roboterplattformen wie Franka, Fetch und Tiago können in diesen Szenarien Aufgaben ausführen.
BEHAVIOR Challenge 2025 und die Zukunft der Robotik
Parallel zum Benchmark startet die BEHAVIOR Challenge 2025, die Forscher dazu aufruft, ihre Methoden auf identischen Aufgaben zu vergleichen. Ein offizielles Leaderboard soll Transparenz und Vergleichbarkeit schaffen. Experten wie Jim Fan von Nvidia sehen in BEHAVIOR das Potenzial, die Robotik auf dem Weg zu "Physical AGI" entscheidend voranzubringen.
KI Snack
