Comment un robot d'assistance alimentaire est passé du ramassage de salades de fruits à des repas complets

Une équipe dirigée par des chercheurs de l'université de Washington a créé un ensemble de 11 actions qu'un bras robotique peut effectuer pour ramasser presque tous les aliments que l'on peut atteindre avec une fourchette. Lors des tests effectués avec cet ensemble d'actions, le robot a ramassé les aliments plus de 80 % du temps, ce qui est la référence spécifiée par l'utilisateur pour une utilisation à domicile. Le petit nombre d'actions permet au système d'apprendre à ramasser de nouveaux aliments au cours d'un même repas.

L'équipe a présenté ses résultats le 7 novembre à la 2023 Conference on Robotic Learning à Atlanta.

UW News s'est entretenu avec les coauteurs Ethan K. Gordon et Amal Nanavati - doctorants à la Paul G. Allen School of Computer Science & Engineering - et avec le coauteur Taylor Kessler Faulkner, chercheur postdoctoral à la Allen School, au sujet des succès et des défis de l'alimentation assistée par robot.

Le Personal Robotics Lab travaille sur l'alimentation assistée par robot depuis plusieurs années. Quelle est l'origine de cet article ?

Ethan K. Gordon : J'ai rejoint le Personal Robotics Lab à la fin de l'année 2018, lorsque Siddhartha Srinivasa, professeur à l'Allen School et auteur principal de notre nouvelle étude, et son équipe avaient créé la première itération de son système robotique pour les applications d'assistance. Le système était monté sur un fauteuil roulant et pouvait ramasser une variété de fruits et de légumes sur une assiette. Il était conçu pour identifier la façon dont une personne était assise et porter la nourriture directement à sa bouche. Depuis, il y a eu un certain nombre d'itérations, la plupart concernant l'identification d'une grande variété d'aliments dans l'assiette. Aujourd'hui, l'utilisateur avec son appareil d'assistance peut cliquer sur une image dans l'application, un raisin par exemple, et le système peut l'identifier et le prendre.

Taylor Kessler Faulkner : Nous avons également élargi l'interface. Les systèmes d'accessibilité que les gens utilisent pour interagir avec leur téléphone - principalement la navigation par la voix ou la bouche - peuvent être utilisés pour contrôler l'application.

EKG : Dans l'article que nous venons de présenter, nous en sommes arrivés au point où nous pouvons ramasser presque tout ce qu'une fourchette peut manipuler. Nous ne pouvons donc pas prendre de soupe, par exemple. Mais le robot peut tout prendre, de la purée de pommes de terre ou des nouilles à la salade de fruits ou de légumes, en passant par la pizza prédécoupée, le sandwich ou les morceaux de viande.

Lors de travaux antérieurs sur la salade de fruits, nous avons cherché à déterminer la trajectoire que le robot devrait suivre s'il recevait une image de la nourriture, mais l'ensemble des trajectoires que nous lui donnions était assez limité. Nous nous sommes contentés de modifier le pas de la fourchette. Pour ramasser un raisin, par exemple, les dents de la fourchette doivent descendre tout droit, mais pour une banane, elles doivent être inclinées, sinon elle glissera. Nous avons ensuite travaillé sur la force qu'il fallait appliquer pour les différents aliments.

Dans ce nouvel article, nous avons étudié la façon dont les gens ramassent les aliments et nous avons utilisé ces données pour générer un ensemble de trajectoires. Nous avons trouvé un petit nombre de mouvements que les gens utilisent réellement pour manger et nous nous sommes arrêtés sur 11 trajectoires. Ainsi, au lieu de se contenter d'un simple mouvement de haut en bas ou d'un angle, ils utilisent des mouvements d'écopage ou se tortillent à l'intérieur de l'aliment pour augmenter la force du contact. Ce petit nombre d'appareils a tout de même réussi à ramasser une gamme beaucoup plus large d'aliments.

Nous pensons que le système a atteint un stade où il peut être déployé pour être testé sur des personnes extérieures au groupe de recherche. Nous pouvons inviter un utilisateur à l'UW et placer le robot soit sur un fauteuil roulant, si l'appareil de montage est prêt, soit sur un trépied à côté du fauteuil roulant, et faire passer un repas entier.

En tant que chercheurs, quels sont les principaux défis à relever pour que les gens puissent utiliser ce robot chez eux tous les jours ?

EKG : Jusqu'à présent, nous avons parlé du problème du ramassage des aliments, mais il y a encore d'autres améliorations à apporter. Il y a aussi le problème de l'acheminement de la nourriture jusqu'à la bouche de la personne, ainsi que celui de l'interface entre la personne et le robot, et du contrôle qu'elle exerce sur ce système, au moins partiellement autonome.

TKF : Au cours des deux prochaines années, nous espérons personnaliser le robot en fonction des personnes. Chacun mange un peu différemment. Amal a réalisé un travail très intéressant sur les repas en société, qui a mis en évidence le fait que les préférences des gens sont basées sur de nombreux facteurs, tels que leur situation sociale et physique. Nous nous posons donc la question suivante : comment pouvons-nous obtenir des informations de la part des personnes qui mangent ? Et comment le robot peut-il utiliser ces informations pour mieux s'adapter à la façon dont chaque personne veut manger ?

Amal Nanavati : Il y a plusieurs dimensions différentes que nous pourrions vouloir personnaliser. L'une d'entre elles concerne les besoins de l'utilisateur : La distance à laquelle l'utilisateur peut bouger son cou a une incidence sur la distance à laquelle la fourchette doit s'approcher de lui. Certaines personnes ont une force différente d'un côté à l'autre de la bouche, de sorte que le robot peut avoir besoin de les nourrir d'un côté particulier de leur bouche. Il y a aussi l'aspect de l'environnement physique. Les utilisateurs disposent déjà d'un ensemble de technologies d'assistance, souvent montées autour de leur visage si c'est la principale partie de leur corps qui est mobile. Ces technologies peuvent être utilisées pour contrôler leur fauteuil roulant, pour interagir avec leur téléphone, etc. Bien entendu, nous ne voulons pas que le robot interfère avec ces technologies d'assistance lorsqu'il s'approche de la bouche de la personne.

Il y a aussi des considérations sociales. Par exemple, si je suis en train de discuter avec quelqu'un ou si je regarde la télévision à la maison, je ne veux pas que le bras du robot passe juste devant mon visage. Enfin, il y a les préférences personnelles. Par exemple, parmi les utilisateurs qui peuvent tourner un peu la tête, certains préfèrent que le robot vienne de face afin de pouvoir garder un œil sur le robot lorsqu'il arrive. D'autres ont l'impression que cela est effrayant ou distrayant et préfèrent que la morsure vienne à eux par le côté.

L'un des principaux axes de recherche consiste à comprendre comment nous pouvons créer des moyens intuitifs et transparents permettant à l'utilisateur de personnaliser le robot en fonction de ses propres besoins. Nous étudions les compromis entre les méthodes de personnalisation où c'est l'utilisateur qui s'en charge et les formes plus centrées sur le robot où, par exemple, le robot essaie quelque chose et dit : "Ça vous a plu ? Oui ou non". L'objectif est de comprendre ce que les utilisateurs pensent de ces différentes méthodes de personnalisation et de savoir lesquelles aboutissent à des trajectoires plus personnalisées.

Que doit comprendre le public au sujet de l'alimentation assistée par robot, à la fois en général et en particulier dans le cadre des travaux de votre laboratoire ?

EKG : Il est important d'examiner non seulement les défis techniques, mais aussi l'ampleur émotionnelle du problème. Le nombre de personnes qui ont besoin d'aide pour s'alimenter n'est pas négligeable. Les chiffres varient, mais il s'agit de plus d'un million de personnes aux États-Unis. Et le fait d'avoir besoin de quelqu'un d'autre à chaque fois que l'on doit accomplir cet acte intime et très nécessaire peut donner aux gens l'impression d'être un fardeau ou d'être gênés. C'est pourquoi l'ensemble de la communauté qui travaille sur les dispositifs d'assistance s'efforce vraiment de favoriser un sentiment d'indépendance pour les personnes qui ont ce type de limitations physiques de la mobilité.

AN : Même ces nombres à sept chiffres ne représentent pas tout le monde. Il existe des handicaps permanents, comme une lésion de la moelle épinière, mais aussi des handicaps temporaires, comme se casser le bras. Chacun d'entre nous peut être confronté à un handicap à un moment ou à un autre de sa vie, et nous voulons nous assurer que nous disposons des outils nécessaires pour que nous puissions tous vivre dans la dignité et l'indépendance. Malheureusement, même si les technologies de ce type améliorent considérablement la qualité de vie des gens, il est incroyablement difficile de les faire couvrir par les compagnies d'assurance américaines. Je pense qu'un plus grand nombre de personnes connaissant l'amélioration potentielle de la qualité de vie permettra, je l'espère, un meilleur accès à ces technologies.

Les autres coauteurs de l'article sont Ramya Challa, qui a effectué cette recherche en tant qu'étudiant de premier cycle à l'Allen School et qui est maintenant à l'Oregon State University, et Bernie Zhu, étudiant en doctorat à l'UW, à l'Allen School. Cette recherche a été partiellement financée par la National Science Foundation, l'Office of Naval Research et Amazon.