Un robot "chef" apprend à recréer des recettes en regardant des vidéos culinaires

06.06.2023 - Grande-Bretagne

Des chercheurs ont appris à un "chef" robotique à regarder et à apprendre des vidéos de cuisine et à recréer le plat lui-même.

University of Cambridge

Des chercheurs ont appris à un "chef" robotique à regarder et à apprendre des vidéos de cuisine et à recréer le plat lui-même. Les chercheurs de l'université de Cambridge ont programmé leur robot cuisinier à l'aide d'un "livre de cuisine" contenant huit recettes simples de salades. Après avoir regardé une vidéo d'un humain faisant la démonstration d'une des recettes, le robot a pu identifier la recette en cours de préparation et la réaliser.

computer generated picture

image symbolique

University of Cambridge
computer generated picture

Les chercheurs de l'université de Cambridge ont programmé leur robot cuisinier à l'aide d'un "livre de cuisine" contenant huit recettes simples de salades. Après avoir regardé la vidéo d'un humain faisant la démonstration d'une des recettes, le robot a pu identifier la recette en cours de préparation et la réaliser.

En outre, les vidéos ont aidé le robot à enrichir progressivement son livre de cuisine. À la fin de l'expérience, le robot a trouvé une neuvième recette par lui-même. Leurs résultats, publiés dans la revue IEEE Access, démontrent que le contenu vidéo peut constituer une source précieuse et riche de données pour la production alimentaire automatisée, et pourrait permettre un déploiement plus facile et moins coûteux de robots cuisiniers.

Les robots cuisiniers font partie de la science-fiction depuis des décennies, mais dans la réalité, cuisiner est un problème difficile pour un robot. Plusieurs entreprises commerciales ont construit des prototypes de robots cuisiniers, mais aucun d'entre eux n'est actuellement disponible dans le commerce, et ils sont loin d'être aussi compétents que leurs homologues humains.

Les cuisiniers humains peuvent apprendre de nouvelles recettes par l'observation, que ce soit en regardant une autre personne cuisiner ou en regardant une vidéo sur YouTube, mais programmer un robot pour qu'il réalise une série de plats est coûteux et prend du temps.

"Nous voulions voir si nous pouvions entraîner un robot cuisinier à apprendre de la même manière que les humains, c'est-à-dire en identifiant les ingrédients et la manière dont ils vont ensemble dans le plat", explique Grzegorz Sochacki, du département d'ingénierie de Cambridge, premier auteur de l'article.

M. Sochacki, candidat au doctorat dans le laboratoire de robotique bio-inspirée du professeur Fumiya Iida, et ses collègues ont conçu huit recettes de salades simples et se sont filmés en train de les réaliser. Ils ont ensuite utilisé un réseau neuronal accessible au public pour entraîner leur robot cuisinier. Le réseau neuronal avait déjà été programmé pour identifier une série d'objets différents, notamment les fruits et légumes utilisés dans les huit recettes de salade (brocoli, carotte, pomme, banane et orange).

À l'aide de techniques de vision artificielle, le robot a analysé chaque image de la vidéo et a pu identifier les différents objets et caractéristiques, tels que le couteau et les ingrédients, ainsi que les bras, les mains et le visage du démonstrateur humain. Les recettes et les vidéos ont été converties en vecteurs et le robot a effectué des opérations mathématiques sur les vecteurs pour déterminer la similitude entre une démonstration et un vecteur.

En identifiant correctement les ingrédients et les actions du chef humain, le robot a pu déterminer laquelle des recettes était en train d'être préparée. Le robot a pu déduire que si le démonstrateur humain tenait un couteau dans une main et une carotte dans l'autre, la carotte serait alors coupée en morceaux.

Sur les 16 vidéos visionnées, le robot a reconnu la bonne recette dans 93 % des cas, même s'il n'a détecté que 83 % des actions du chef humain. Le robot a également été capable de détecter que de légères variations dans une recette, telles que la réalisation d'une double portion ou une erreur humaine normale, étaient des variations et non une nouvelle recette. Le robot a également reconnu correctement la démonstration d'une neuvième salade, l'a ajoutée à son livre de recettes et l'a réalisée.

"Il est étonnant de voir à quel point le robot a pu détecter les nuances", a déclaré Mme Sochacki. "Ces recettes ne sont pas complexes - il s'agit essentiellement de fruits et de légumes coupés en morceaux, mais le robot a été très efficace pour reconnaître, par exemple, que deux pommes et deux carottes coupées en morceaux constituent la même recette que trois pommes et trois carottes coupées en morceaux.

Les vidéos utilisées pour former le robot cuisinier ne ressemblent pas aux vidéos culinaires réalisées par certains influenceurs sur les réseaux sociaux, qui sont pleines de coupes rapides et d'effets visuels, et qui font des allers-retours rapides entre la personne qui prépare le plat et le plat qu'elle est en train de préparer. Par exemple, le robot aurait eu du mal à identifier une carotte si le démonstrateur humain l'avait entourée de sa main. Pour que le robot identifie la carotte, le démonstrateur humain devait la lever pour que le robot puisse voir le légume en entier.

"Notre robot n'est pas intéressé par les vidéos culinaires qui deviennent virales sur les réseaux sociaux : elles sont tout simplement trop difficiles à suivre", explique M. Sochacki. "Mais si ces robots cuisiniers parviennent à identifier de mieux en mieux les ingrédients dans les vidéos culinaires, ils pourraient être en mesure d'utiliser des sites tels que YouTube pour apprendre toute une série de recettes.

La recherche a été soutenue en partie par Beko plc et le Conseil de recherche en ingénierie et en sciences physiques (EPSRC), qui fait partie de UK Research and Innovation (UKRI).

Note: Cet article a été traduit à l'aide d'un système informatique sans intervention humaine. LUMITOS propose ces traductions automatiques pour présenter un plus large éventail d'actualités. Comme cet article a été traduit avec traduction automatique, il est possible qu'il contienne des erreurs de vocabulaire, de syntaxe ou de grammaire. L'article original dans Anglais peut être trouvé ici.

Autres actualités du département science

Actualités les plus lues

Plus actualités de nos autres portails

Tous les fabricants de spectromètres FT-IR en un coup d'œil