Wie ein Fütterungsroboter vom Obstsalat zur ganzen Mahlzeit wurde

Ein Team unter der Leitung von Forschern der University of Washington hat eine Reihe von 11 Aktionen entwickelt, die ein Roboterarm ausführen kann, um nahezu jedes Lebensmittel mit einer Gabel aufzunehmen. In Tests mit dieser Reihe von Aktionen nahm der Roboter die Lebensmittel in mehr als 80 % der Fälle auf, was den vom Benutzer festgelegten Richtwert für die Verwendung zu Hause darstellt. Dank der kleinen Anzahl von Aktionen kann das System lernen, während einer Mahlzeit neue Lebensmittel aufzunehmen.

Das Team präsentierte seine Ergebnisse am 7. November auf der 2023 Conference on Robotic Learning in Atlanta.

UW News sprach mit den Co-Autoren Ethan K. Gordon und Amal Nanavati - UW-Doktoranden an der Paul G. Allen School of Computer Science & Engineering - und mit Co-Autorin Taylor Kessler Faulkner, einer UW-Postdoktorandin an der Allen School, über die Erfolge und Herausforderungen der robotergestützten Ernährung.

Das Personal Robotics Lab arbeitet schon seit mehreren Jahren an der robotergestützten Fütterung. Was ist der Grund für diese Arbeit?

Ethan K. Gordon: Ich kam Ende 2018 zum Personal Robotics Lab, als Siddhartha Srinivasa, Professor an der Allen School und Hauptautor unserer neuen Studie, und sein Team die erste Iteration ihres Robotersystems für assistive Anwendungen entwickelt hatten. Das System war an einem Rollstuhl montiert und konnte verschiedene Obst- und Gemüsesorten auf einem Teller aufnehmen. Es sollte erkennen, wie eine Person sitzt, und ihr das Essen direkt zum Mund bringen. Seitdem hat es mehrere Iterationen gegeben, bei denen es meist darum ging, eine Vielzahl von Lebensmitteln auf dem Teller zu erkennen. Jetzt kann der Benutzer mit seinem Hilfsmittel auf ein Bild in der App klicken, z. B. auf eine Weintraube, und das System kann diese identifizieren und aufnehmen.

Taylor Kessler Faulkner: Wir haben auch die Schnittstelle erweitert. Alle Zugänglichkeitssysteme, die Menschen für die Interaktion mit ihren Telefonen nutzen - meist die Sprach- oder Mundsteuerung - können sie auch für die Steuerung der App verwenden.

EKG: In diesem Papier, das wir gerade vorgestellt haben, sind wir an einem Punkt angelangt, an dem wir fast alles aufnehmen können, was eine Gabel bewältigen kann. Wir können also zum Beispiel keine Suppe aufheben. Aber der Roboter kann alles von Kartoffelpüree oder Nudeln über Obstsalat bis hin zu einem echten Gemüsesalat sowie vorgeschnittene Pizza oder ein Sandwich oder Fleischstücke aufnehmen.

Bei der früheren Arbeit mit dem Obstsalat haben wir untersucht, welche Flugbahn der Roboter einschlagen sollte, wenn er ein Bild des Essens erhält, aber die Menge der Flugbahnen, die wir ihm vorgaben, war ziemlich begrenzt. Wir haben nur die Neigung der Gabel verändert. Wenn man z. B. eine Weintraube aufheben will, müssen die Zinken der Gabel gerade nach unten gehen, aber bei einer Banane müssen sie einen Winkel bilden, sonst rutscht sie ab. Dann haben wir untersucht, wie viel Kraft wir für verschiedene Lebensmittel aufwenden müssen.

In dieser neuen Arbeit haben wir uns angesehen, wie Menschen Lebensmittel aufheben, und diese Daten verwendet, um eine Reihe von Bewegungsabläufen zu erstellen. Wir haben eine kleine Anzahl von Bewegungen gefunden, die Menschen tatsächlich zum Essen verwenden, und uns auf 11 Bahnen geeinigt. Anstelle der einfachen Aufwärts- und Abwärtsbewegung oder des schrägen Eintauchens werden also Schöpfbewegungen verwendet oder es wird im Inneren des Nahrungsmittels gewackelt, um die Stärke des Kontakts zu erhöhen. Mit dieser kleinen Anzahl von Geräten konnte eine viel größere Anzahl von Lebensmitteln erfasst werden.

Wir glauben, dass das System jetzt so weit ist, dass es für Tests an Personen außerhalb der Forschungsgruppe eingesetzt werden kann. Wir können einen Benutzer an die UW einladen und den Roboter entweder auf einen Rollstuhl setzen, wenn er die Befestigungsvorrichtung bereit hat, oder auf ein Stativ neben seinem Rollstuhl, und eine ganze Mahlzeit durchlaufen lassen.

Was sind für Sie als Forscher die wichtigsten Herausforderungen, damit die Menschen dieses System täglich zu Hause nutzen können?

EKG: Wir haben bisher über das Problem der Nahrungsaufnahme gesprochen, und hier gibt es noch weitere Verbesserungen, die vorgenommen werden können. Dann gibt es noch das Problem, das Essen zum Mund des Menschen zu bringen, sowie die Frage, wie der Mensch mit dem Roboter kommuniziert und wie viel Kontrolle der Mensch über dieses zumindest teilweise autonome System hat.

TKF: Wir hoffen, dass wir den Roboter in den nächsten Jahren an verschiedene Personen anpassen können. Jeder Mensch isst ein bisschen anders. Amal hat eine wirklich coole Arbeit zum Thema "Social Dining" gemacht, die gezeigt hat, dass die Vorlieben der Menschen von vielen Faktoren abhängen, z. B. von ihrer sozialen und physischen Situation. Wir fragen uns also: Wie können wir von den Menschen, die gerade essen, Informationen erhalten? Und wie kann der Roboter diese Informationen nutzen, um sich besser an die Essgewohnheiten der Menschen anzupassen?

Amal Nanavati: Es gibt mehrere verschiedene Dimensionen, die wir personalisieren wollen. Eine davon sind die Bedürfnisse des Benutzers: Wie weit der Nutzer seinen Hals bewegen kann, hat Auswirkungen darauf, wie nah die Gabel an ihn herankommen muss. Manche Menschen haben eine unterschiedliche Kraft auf verschiedenen Seiten ihres Mundes, so dass der Roboter sie vielleicht von einer bestimmten Seite ihres Mundes füttern muss. Es gibt auch einen Aspekt der physischen Umgebung. Die Benutzer verfügen bereits über eine Reihe von Hilfstechnologien, die oft um ihr Gesicht herum angebracht sind, wenn dies der wichtigste bewegliche Körperteil ist. Diese Technologien können zur Steuerung ihres Rollstuhls, zur Interaktion mit ihrem Telefon usw. verwendet werden. Natürlich wollen wir nicht, dass der Roboter diese Hilfstechnologien stört, wenn er sich dem Mund der Person nähert.

Es gibt auch soziale Überlegungen. Wenn ich mich zum Beispiel mit jemandem unterhalte oder zu Hause fernsehe, möchte ich nicht, dass der Roboterarm direkt vor meinem Gesicht ist. Und schließlich gibt es persönliche Vorlieben. Einige Benutzer, die ihren Kopf ein wenig drehen können, bevorzugen es, wenn der Roboter von vorne kommt, damit sie ihn im Auge behalten können, während er sich nähert. Andere empfinden das als beängstigend oder ablenkend und bevorzugen es, wenn der Biss von der Seite kommt.

Eine wichtige Forschungsrichtung ist die Frage, wie wir intuitive und transparente Möglichkeiten für den Benutzer schaffen können, um den Roboter an seine eigenen Bedürfnisse anzupassen. Wir erwägen Kompromisse zwischen Anpassungsmethoden, bei denen der Benutzer die Anpassung vornimmt, und eher roboterzentrierten Formen, bei denen der Roboter z. B. etwas ausprobiert und sagt: "Hat es dir gefallen? Ja oder nein". Das Ziel ist es, zu verstehen, wie die Benutzer diese verschiedenen Anpassungsmethoden empfinden und welche davon zu besser angepassten Bahnen führen.

Was sollte die Öffentlichkeit über die robotergestützte Ernährung im Allgemeinen und über die Arbeit Ihres Labors im Besonderen wissen?

EKG: Es ist wichtig, nicht nur die technischen Herausforderungen zu betrachten, sondern auch das emotionale Ausmaß des Problems. Es ist keine kleine Zahl von Menschen, die Hilfe beim Essen brauchen. Es gibt verschiedene Zahlen, aber es sind mehr als eine Million Menschen in den USA, die täglich essen müssen. Und jedes Mal, wenn man diesen intimen und sehr notwendigen Akt vollziehen muss, jemanden anderen zu brauchen, kann dazu führen, dass man sich als Last oder verlegen fühlt. Die gesamte Gemeinschaft, die sich für Hilfsmittel einsetzt, versucht also wirklich, das Gefühl der Unabhängigkeit für Menschen mit solchen körperlichen Mobilitätseinschränkungen zu fördern.

AN: Selbst diese siebenstelligen Zahlen erfassen nicht jeden. Es gibt dauerhafte Behinderungen, wie z. B. eine Rückenmarksverletzung, aber auch vorübergehende Behinderungen, wie z. B. ein gebrochener Arm. Jeder von uns kann im Alter mit einer Behinderung konfrontiert werden, und wir wollen sicherstellen, dass wir über die notwendigen Hilfsmittel verfügen, damit wir alle ein würdiges und unabhängiges Leben führen können. Auch wenn Technologien wie diese die Lebensqualität der Menschen erheblich verbessern, ist es leider unglaublich schwierig, dass sie von den US-Versicherungsgesellschaften übernommen werden. Ich denke, wenn mehr Menschen über die potenzielle Verbesserung der Lebensqualität Bescheid wissen, wird sich der Zugang hoffentlich verbessern.

Weitere Co-Autoren der Studie waren Ramya Challa, die diese Forschung als Studentin an der Allen School durchgeführt hat und jetzt an der Oregon State University studiert, und Bernie Zhu, ein UW-Doktorand an der Allen School. Diese Forschung wurde teilweise von der National Science Foundation, dem Office of Naval Research und Amazon finanziert.