Die Kerngedanken
- FLEX verbindet natürlichsprachliche Anweisungen mit einem Verallgemeinerungsschritt mithilfe von GPT-4o und einer Aktualisierung der Objektliste anhand des Bildverarbeitungssystems.
- Das MIT beschreibt Tests in Simulationen mit drei Aufgaben für einen Roboterarm: Kaffee servieren, eine Kerze bewegen und eine Bowlingkugel transportieren.
- Die berichteten Ergebnisse beziehen sich auf simulierte Szenarien und lassen keine Rückschlüsse auf die Leistung von FLEX in Wohnungen oder mit physischen Robotern zu.
Mehr als den wörtlichen Befehl verstehen
Eine Anweisung wie „Verschütte keinen Kaffee auf dem Laptop“ kann eine umfassendere Vorsichtsmaßnahme ausdrücken, als nur einen einzelnen Gegenstand zu meiden. FLEX, eine von Forschenden des MIT und der New York University vorgestellte Plattform, soll einem Roboter ermöglichen, solche Verallgemeinerungen aus alltäglichen Anweisungen abzuleiten und sie bei der Planung seiner Bewegungen zu nutzen.
Laut MIT wird die Studie diesen Monat auf der jährlichen Konferenz Conference on Robot Learning vorgestellt. Das Team zeigte FLEX in simulierten Szenarien: Menschen gaben Anweisungen in natürlicher Sprache ein, während ein virtueller Roboterarm Objekte bewegte. In einem Beispiel serviert der Roboter Kaffee auf einem Tisch mit mehreren Gegenständen und erhält die Anweisung, nichts davon auf einen Laptop zu verschütten; das System passt seine Flugbahn auch so an, dass es einem nahe gelegenen Telefon ausweicht.
Die Plattform soll den Bedarf verringern, dass eine Person jeden Gegenstand einzeln benennen muss. Anstatt lediglich ein Element zur Liste relevanter Hindernisse hinzuzufügen, versucht FLEX, aus den Korrekturen des Nutzers eine allgemeinere Kategorie abzuleiten. Die veröffentlichten Informationen beschreiben die Methode und ihre Demonstrationen, legen jedoch nicht dar, wie sie sich in realen Situationen verhalten würde.
Drei Schritte zur Aktualisierung der Liste
FLEX gliedert den Prozess in drei Schritte: Add, Generalize und Mask. Bei Add nimmt der Roboter einen von der Person bezeichneten Gegenstand in seine Liste auf. Sagt jemand beispielsweise „Lass ihn nicht auf meine Tasse fallen“, während der Roboter eine Bowlingkugel transportiert, fügt das System die Tasse zu den Gegenständen hinzu, die er meiden soll.
Bei Generalize erweitert das System die Vorsichtsmaßnahme. Laut der Beschreibung des MIT nutzt FLEX das Sprachmodell GPT-4o, um vom Nutzer identifizierte Gegenstände miteinander in Beziehung zu setzen und eine umfassendere Kategorie vorzuschlagen. Im Beispiel mit der Tasse besteht die Verallgemeinerung darin, zerbrechliche Gegenstände zu meiden, auch wenn die Person nicht alle Gegenstände dieser Klasse aufgezählt hat. Auf diese Weise verbindet die Plattform die Liste der für die Aufgabe relevanten Merkmale mit vom Modell erzeugten Assoziationen.
Der dritte Schritt, Mask, nutzt das Bildverarbeitungssystem des Roboters, um festzustellen, welche Gegenstände nicht mehr vorhanden sind, und sie aus der Liste zu entfernen. Das MIT gibt an, dass der gesamte Prozess etwa fünf Sekunden dauert. Die Beschreibung enthält keine weiteren Leistungskennzahlen, etwa die Häufigkeit zutreffender Schlussfolgerungen oder die beobachteten Fehler.
| FLEX-Schritt | Beschriebene Funktion | Beispiel aus der Quelle |
|---|---|---|
| Add | Fügt der Liste einen in der Anweisung bezeichneten Gegenstand hinzu. | Eine Tasse zu den Gegenständen hinzufügen, die der Roboter meiden soll. |
| Generalize | Nutzt GPT-4o, um aus den identifizierten Gegenständen eine umfassendere Kategorie abzuleiten. | Die Vorsichtsmaßnahme auf zerbrechliche Gegenstände ausweiten. |
| Mask | Das Bildverarbeitungssystem entfernt Gegenstände aus der Liste, die nicht mehr vorhanden sind. | Die Liste anhand der erkannten Umgebung aktualisieren. |
Was die virtuellen Tests zeigten
Die Forschenden testeten FLEX in Simulationen mit drei Aufgaben mit einem Roboterarm: eine Tasse Kaffee servieren, eine Kerze bewegen und eine Bowlingkugel transportieren. Die Menschen gaben Anweisungen wie „Verschütte nichts auf meinen Laptop“, „Halte dich vom Papierstapel fern“ und „Lass ihn nicht auf die Tasse fallen“ ein. Laut MIT befolgte der Roboter jede Anweisung und verallgemeinerte sie außerdem so, dass er jeweils elektronische Geräte, brennbare Gegenstände und zerbrechliche Objekte mied.
Diese Beispiele zeigen den Zweck der Methode in virtuellen Umgebungen, lassen jedoch keine Rückschlüsse darauf zu, wie sie in realen Situationen funktionieren würde, mit anderen Robotern oder bei abweichenden Anweisungen. Die Quelle beschreibt drei simulierte Aufgaben und berichtet weder von Nutzertests in Wohnungen noch von quantitativen Vergleichen mit anderen Methoden oder Fehlerquoten.
Team, Finanzierung und Geltungsbereich
Das MIT nennt Andreea Bobu, Assistenzprofessorin für Luft- und Raumfahrttechnik an dieser Institution, als Leiterin der Studie. Zu den Mitautoren zählen laut MIT Nathan Dennler, Postdoktorand am Labor für Informatik und Künstliche Intelligenz des MIT (CSAIL), sowie Audrey Lee und Ilia Sucholutsky von der New York University. Die Quelle gibt an, dass die Arbeit teilweise vom MIT Generative AI Impact Consortium und vom Programm Social and Ethical Responsibilities of Computing des MIT Schwarzman College of Computing unterstützt wurde.
Die Demonstration lässt keine Schlussfolgerungen darüber zu, wie FLEX auf widersprüchliche Präferenzen oder mehrdeutige Anweisungen reagieren würde oder welche Leistung es außerhalb von Simulationen erbringen könnte. Diese Fragen bleiben in den veröffentlichten Informationen offen.
Die hier aufgeführten NSF-Referenzen dienen als Kontext: Eine erläutert, wie die Behörde Forschung unterstützt, und eine weitere beschreibt Materialforschungsprogramme ihrer Direktion für mathematische und physikalische Wissenschaften. Sie bestätigen die Ergebnisse von FLEX nicht unabhängig, die das MIT der Studie seines Teams zuschreibt. NSF: Wie die Forschung unterstützt wird · NSF: Materialforschungsprogramme der Direktion für mathematische und physikalische Wissenschaften
Referenzen
Was wir wissen und wo die Grenzen liegen
Die verfügbaren Informationen beschreiben Simulationen mit drei Aufgaben und enthalten keine Versuche in physischen Umgebungen, quantitativen Leistungsergebnisse oder Fehlerquoten. Die NSF-Referenzen dienen dem Kontext und stellen keine unabhängige Bestätigung der vom MIT der Studie zugeschriebenen Ergebnisse dar.
Originalquellen3
Die Originalquellen zum Erkunden dieser Erklärung und ihrer Grenzen.
- Studien und Ergebnisse: Wie die NSF die Forschung unterstützt NSF
-
Wie die Forschung zu Materialien und ihren Ergebnissen organisiert ist
NSF
Institutionelle Referenz zum Kontext. Sie stellt keine unabhängige Bestätigung der Ergebnisse der Hauptquelle dar. - KI-gestützte Lernplattform hilft Robotern, über wörtliche Befehle hinaus zu denken MIT
Bildnachweise
Detailed view of a cutting-edge industrial robotic arm in action. · Foto von Freek Wolsink auf Pexels · Originalquelle · Pexels License · Skaliert und als JPEG neu kodiert; der vollständige Bildausschnitt bleibt erhalten.