Le idee chiave
- FLEX combina istruzioni in linguaggio naturale con una fase di generalizzazione tramite GPT-4o e un aggiornamento dell’elenco degli oggetti in base al sistema di visione.
- Il MIT descrive prove in simulazioni di tre compiti con un braccio robotico: versare caffè, spostare una candela e trasportare una palla da bowling.
- I risultati riportati riguardano scenari simulati e non stabiliscono le prestazioni di FLEX nelle abitazioni o con robot fisici.
Interpretare più che l’ordine letterale
Un’istruzione come «Non rovesciare il caffè sul portatile» può esprimere una precauzione più ampia rispetto all’evitare un singolo oggetto. FLEX, una piattaforma presentata da ricercatori del MIT e della New York University, mira a far sì che un robot ricavi questo tipo di generalizzazioni dalle istruzioni quotidiane e le utilizzi per pianificare i propri movimenti.
Secondo il MIT, lo studio sarà presentato questo mese alla conferenza annuale Conference on Robot Learning. Il team ha mostrato FLEX in scenari simulati: le persone scrivevano istruzioni in linguaggio naturale mentre un braccio robotico virtuale spostava oggetti. In un esempio, il robot versa il caffè su un tavolo con vari oggetti e riceve l’ordine di non rovesciarlo su un portatile; il sistema modifica anche la traiettoria per evitare un telefono nelle vicinanze.
La piattaforma si propone di ridurre la necessità che una persona nomini ogni oggetto separatamente. Invece di limitarsi ad aggiungere un elemento all’elenco degli ostacoli rilevanti, FLEX cerca di inferire una categoria più generale dalle correzioni dell’utente. Le informazioni pubblicate descrivono il metodo e le relative dimostrazioni, ma non stabiliscono come si comporterebbe in situazioni reali.
Tre fasi per aggiornare l’elenco
FLEX organizza il processo in tre passaggi: Add, Generalize e Mask. In Add, il robot aggiunge al proprio elenco un elemento indicato dalla persona. Per esempio, se qualcuno dice «Non farlo cadere sulla mia tazza» mentre il robot trasporta una palla da bowling, il sistema aggiunge la tazza agli oggetti da evitare.
In Generalize, il sistema estende la precauzione. La descrizione del MIT indica che FLEX utilizza il modello linguistico GPT-4o per mettere in relazione gli elementi identificati dall’utente e proporre una categoria più ampia. Nell’esempio della tazza, la generalizzazione consiste nell’evitare gli oggetti fragili, anche se la persona non ha elencato tutti gli oggetti di quella categoria. In questo modo, la piattaforma combina l’elenco delle caratteristiche rilevanti per il compito con le associazioni generate dal modello.
Il terzo passaggio, Mask, utilizza il sistema di visione artificiale del robot per determinare quali oggetti non sono più presenti e rimuoverli dall’elenco. Il MIT indica che l’intero processo richiede circa cinque secondi. La descrizione non fornisce altre misure delle prestazioni, come la frequenza delle inferenze corrette o gli errori osservati.
| Fase di FLEX | Funzione descritta | Esempio della fonte |
|---|---|---|
| Add | Aggiunge all’elenco un oggetto indicato nell’istruzione. | Aggiungere una tazza agli oggetti che il robot deve evitare. |
| Generalize | Utilizza GPT-4o per inferire una categoria più ampia a partire dagli elementi identificati. | Estendere la precauzione agli oggetti fragili. |
| Mask | Il sistema di visione rimuove dall’elenco gli oggetti che non sono più presenti. | Aggiornare l’elenco in base all’ambiente rilevato. |
Cosa hanno mostrato le prove virtuali
I ricercatori hanno testato FLEX in simulazioni di tre compiti con un braccio robotico: versare una tazza di caffè, spostare una candela e trasportare una palla da bowling. Le persone hanno scritto comandi come «Non rovesciare sul mio portatile», «Stai lontano dalla pila di carta» e «Non farlo cadere sulla tazza». Secondo il MIT, il robot ha seguito ciascuna istruzione e ha anche generalizzato, evitando rispettivamente dispositivi elettronici, oggetti infiammabili e oggetti fragili.
Questi esempi mostrano lo scopo del metodo in ambienti virtuali, ma non permettono di stabilire come funzionerebbe in situazioni reali, con altri robot o di fronte a istruzioni diverse. La fonte descrive tre compiti simulati e non riferisce prove con utenti nelle abitazioni, confronti quantitativi con altri metodi né tassi di errore.
Team, finanziamenti e portata
Il MIT indica Andreea Bobu, professoressa associata di aeronautica e astronautica presso l’istituzione, come responsabile dello studio. Tra i coautori cita Nathan Dennler, ricercatore post-dottorato del Laboratorio di informatica e intelligenza artificiale del MIT (CSAIL), e Audrey Lee e Ilia Sucholutsky, della New York University. La fonte segnala che il lavoro ha ricevuto un sostegno parziale dal MIT Generative AI Impact Consortium e dal programma Social and Ethical Responsibilities of Computing del MIT Schwarzman College of Computing.
La dimostrazione non permette di concludere come FLEX risponderebbe a preferenze contraddittorie o istruzioni ambigue, né quali sarebbero le sue prestazioni al di fuori delle simulazioni. Queste domande restano aperte nelle informazioni pubblicate.
I riferimenti alla NSF inclusi qui sono contestuali: uno spiega come l’agenzia sostiene la ricerca e un altro descrive i programmi di ricerca sui materiali della sua Direzione di Scienze matematiche e fisiche. Non corroborano in modo indipendente i risultati di FLEX, che il MIT attribuisce allo studio del proprio team. NSF: come sostiene la ricerca · NSF: programmi di ricerca sui materiali della Direzione di Scienze matematiche e fisiche
Riferimenti
Ciò che sappiamo e i suoi limiti
Le informazioni disponibili descrivono simulazioni di tre compiti e non riportano prove in ambienti fisici, risultati quantitativi sulle prestazioni né tassi di errore. I riferimenti alla NSF sono contestuali e non costituiscono una corroborazione indipendente dello studio attribuito dal MIT.
Fonti originali3
Le fonti originali per approfondire questa spiegazione e i suoi limiti.
- Studi e risultati: come la NSF sostiene la ricerca NSF
-
Come si organizza la ricerca sui materiali e quali sono i suoi risultati
NSF
Riferimento istituzionale di contesto. Non costituisce una conferma indipendente dei risultati della fonte principale. - Una piattaforma di apprendimento assistita dall’IA aiuta i robot a ragionare oltre i comandi letterali MIT
Crediti delle immagini
Detailed view of a cutting-edge industrial robotic arm in action. · Foto di Freek Wolsink su Pexels · Fonte originale · Pexels License · Ridimensionata e ricodificata come JPEG; l’inquadratura completa è stata mantenuta.