Verbesserung der Roboterplanung durch multimodale KI-Modelle am MIT

Ein neues Framework für künstliche Intelligenz, entwickelt vom CSAIL des MIT, ermöglicht es Robotern, komplexe Aufgaben durch detailliertere Planungsprozesse besser zu bewältigen. Das Modell HiP basiert auf drei verschiedenen Grundmodellen, die jeweils auf Sprach-, Bild- und Aktionsdaten trainiert sind und zusammenarbeiten, um genaue Pläne für die Ausführung von Aufgaben zu erstellen.

Im Vergleich zu bisherigen Ansätzen erfordert HiP keinen Zugriff auf gepaarte visuelle, sprachliche und aktionsbasierte Daten, was eine kosteneffiziente und flexible Anwendung ermöglicht. Das Modell wird in Haushalten und der Industrie eingesetzt, um Aufgaben wie das Handling mit Geschirr oder den Bau von Materialstrukturen zu automatisieren und zu erleichtern.

Die HiP-Technologie wurde in verschiedenen Szenarien getestet, darunter das Stapeln von Blöcken und das Sortieren von Gegenständen. In diesen Tests konnte HiP vorhandene Systeme übertreffen, indem es seine Pläne dynamisch an neue Informationen anpasste.

Das Team hinter HiP plant, das Modell zukünftig mit weiteren prätrainierten Modellen zu erweitern, die auch Sensorik wie Berührung und Akustik verarbeiten können. Dies könnte die Genauigkeit der Planung weiter verbessern und hat das Potenzial, neue Wege in der Anwendung künstlicher Intelligenz in praktischen, mehrstufigen Aufgaben zu eröffnen.