Les clés
- FLEX combine des instructions en langage naturel avec une étape de généralisation au moyen de GPT-4o et une mise à jour de la liste des objets en fonction du système de vision.
- Le MIT décrit des essais dans des simulations de trois tâches avec un bras robotique : servir du café, déplacer une bougie et transporter une boule de bowling.
- Les résultats communiqués concernent des scénarios simulés et n’établissent pas les performances de FLEX dans des foyers ou avec des robots physiques.
Interpréter plus que l’ordre littéral
Une instruction comme « Ne renverse pas de café sur l’ordinateur portable » peut exprimer une précaution plus large que le fait d’éviter un seul objet. FLEX, une plateforme présentée par des chercheurs du MIT et de l’Université de New York, vise à permettre à un robot de tirer ce type de généralisation des instructions quotidiennes et de les utiliser pour planifier ses mouvements.
Selon le MIT, l’étude sera présentée ce mois-ci à la conférence annuelle Conference on Robot Learning. L’équipe a présenté FLEX dans des scénarios simulés : des personnes saisissaient des instructions en langage naturel tandis qu’un bras robotique virtuel déplaçait des objets. Dans un exemple, le robot sert du café sur une table où se trouvent plusieurs objets et reçoit l’ordre de ne pas en renverser sur un ordinateur portable ; le système modifie également sa trajectoire pour éviter un téléphone à proximité.
La plateforme vise à réduire la nécessité pour une personne de nommer séparément chaque objet. Au lieu de se contenter d’ajouter un élément à la liste des obstacles pertinents, FLEX tente d’inférer une catégorie plus générale à partir des corrections de l’utilisateur. Les informations publiées décrivent la méthode et ses démonstrations, mais n’établissent pas comment elle se comporterait dans des situations réelles.
Trois étapes pour mettre à jour la liste
FLEX organise le processus en trois étapes : Add, Generalize et Mask. À l’étape Add, le robot ajoute à sa liste un élément désigné par la personne. Par exemple, si quelqu’un dit « Ne le laisse pas tomber sur ma tasse » pendant que le robot transporte une boule de bowling, le système ajoute la tasse aux objets qu’il doit éviter.
À l’étape Generalize, le système élargit la précaution. La description du MIT indique que FLEX utilise le modèle de langage GPT-4o pour établir des liens entre les éléments identifiés par l’utilisateur et proposer une catégorie plus large. Dans l’exemple de la tasse, la généralisation consiste à éviter les objets fragiles, même si la personne n’a pas énuméré tous les objets de cette catégorie. Ainsi, la plateforme combine la liste des caractéristiques pertinentes pour la tâche avec des associations générées par le modèle.
La troisième étape, Mask, utilise le système de vision artificielle du robot pour déterminer quels objets ne sont plus présents et les retirer de la liste. Le MIT indique que le processus complet prend environ cinq secondes. La description ne fournit pas d’autres mesures de performance, comme la fréquence des inférences correctes ou les erreurs observées.
| Étape de FLEX | Fonction décrite | Exemple de la source |
|---|---|---|
| Add | Ajoute à la liste un objet désigné dans l’instruction. | Ajouter une tasse aux éléments que le robot doit éviter. |
| Generalize | Utilise GPT-4o pour inférer une catégorie plus large à partir des éléments identifiés. | Étendre la précaution aux objets fragiles. |
| Mask | Le système de vision retire de la liste les objets qui ne sont plus présents. | Mettre à jour la liste selon l’environnement détecté. |
Ce que les essais virtuels ont montré
Les chercheurs ont testé FLEX dans des simulations de trois tâches avec un bras robotique : servir une tasse de café, déplacer une bougie et transporter une boule de bowling. Les personnes ont saisi des instructions telles que « Ne renverse pas sur mon ordinateur portable », « Éloigne-toi de la pile de papier » et « Ne le laisse pas tomber sur la tasse ». Selon le MIT, le robot a suivi chaque instruction et a également généralisé pour éviter respectivement les appareils électroniques, les objets inflammables et les objets fragiles.
Ces exemples illustrent l’objectif de la méthode dans des environnements virtuels, mais ne permettent pas d’établir comment elle fonctionnerait dans des situations réelles, avec d’autres robots ou face à des instructions différentes. La source décrit trois tâches simulées et ne fait état ni d’essais avec des utilisateurs dans des habitations, ni de comparaisons quantitatives avec d’autres méthodes, ni de taux d’erreur.
Équipe, financement et portée
Le MIT indique qu’Andreea Bobu, professeure adjointe en aéronautique et astronautique dans cet établissement, dirige l’étude. Parmi les coauteurs figurent Nathan Dennler, chercheur postdoctoral au Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL), ainsi qu’Audrey Lee et Ilia Sucholutsky, de l’Université de New York. La source précise que les travaux ont bénéficié d’un soutien partiel du MIT Generative AI Impact Consortium et du programme Social and Ethical Responsibilities of Computing du MIT Schwarzman College of Computing.
La démonstration ne permet pas de conclure comment FLEX réagirait à des préférences contradictoires ou à des instructions ambiguës, ni quelles seraient ses performances en dehors des simulations. Ces questions restent ouvertes dans les informations publiées.
Les références de la NSF incluses ici servent de contexte : l’une explique comment l’agence soutient la recherche, et l’autre décrit les programmes de recherche sur les matériaux de sa Direction des sciences mathématiques et physiques. Elles ne corroborent pas de manière indépendante les résultats de FLEX, que le MIT attribue à l’étude de son équipe. NSF : comment elle soutient la recherche · NSF : programmes de recherche sur les matériaux de la Direction des sciences mathématiques et physiques
Références
Ce que nous savons et ses limites
Les informations disponibles décrivent des simulations de trois tâches et ne fournissent ni essais dans des environnements physiques, ni résultats quantitatifs de performance, ni taux d’erreur. Les références de la NSF servent de contexte et ne constituent pas une corroboration indépendante de l’étude attribuée par le MIT.
Sources originales3
Les sources originales pour explorer cette explication et ses limites.
- Études et résultats : comment la NSF soutient la recherche NSF
-
Comment la recherche sur les matériaux s’organise et quels sont ses résultats
NSF
Référence institutionnelle de contexte. Ne constitue pas une confirmation indépendante des résultats de la source principale. - Une plateforme d’apprentissage assistée par l’IA aide les robots à raisonner au-delà des commandes littérales MIT
Crédits image
Detailed view of a cutting-edge industrial robotic arm in action. · Photo de Freek Wolsink sur Pexels · Source originale · Pexels License · Redimensionnée et réencodée au format JPEG ; le cadrage complet est conservé.