Si le sens du toucher est un canal privilégié pour ressentir le monde physique, nos yeux nous aident à appréhender immédiatement dans sa globalité l’image renvoyées par ces signaux tactiles. Les robots qui ont été programmés pour voir ou sentir ne peuvent pas utiliser ces signaux de manière aussi interchangeable. Pour combler cette lacune sensorielle, les chercheurs du Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL) ont mis au point une intelligence artificielle prédictive (IA) qui apprend à « voir » en touchant et à sentir en voyant. Le système de l’équipe peut créer des signaux tactiles réalistes à partir d’entrées visuelles et prédire quel objet et quelle partie sont touchés directement par ces entrées tactiles. Ils ont utilisé un bras de robot KUKA et un capteur tactile spécial appelé GelSight, conçu par un autre groupe du MIT.
L’ensemble de données actuellement utilisé ne contient que des exemples d’interactions dans un environnement contrôlé. L’équipe espère améliorer le système en recueillant des données dans davantage de domaines non structurées ou en utilisant un nouveau gant tactile conçu par le MIT, afin d’augmenter la taille et la diversité de l’ensemble de données.
