Le principe des réseaux antagonistes génératifs consiste à introduire expérimentalement des données dans un algorithme pour identifier les informations à partir desquelles il a été entraîné, ou à déformer les données proposées en entrée afin de conduire le système à mal se comporter. En entrant beaucoup d’images dans un algorithme de vision par ordinateur, par exemple, il est possible d’inverser son fonctionnement et d’assurer certains types de résultats en sortie.
Song a présenté plusieurs exemples d’astuces d’apprentissage antagoniste que son groupe de recherche a explorés. Un projet, mené en collaboration avec Google, consistait à sonder des algorithmes d’apprentissage automatique formés pour générer des réponses automatiques à partir de messages électroniques. Résultat : en créant les bons messages, il est possible de faire cracher au modèle de machine des données sensibles telles que les numéros de carte de crédit. Les résultats ont été utilisés par Google pour empêcher l’exploitation de Smart Compose, l’outil qui génère automatiquement du texte dans Gmail. Un autre projet consistait à modifier la signalisation routière avec quelques autocollants inoffensifs pour tromper les systèmes de vision par ordinateur utilisés dans de nombreux véhicules.
Les réseaux antagonistes génératifs attise de plus en plus l’intérêt des chercheurs en apprentissage machine. Cette année, la DARPA a ainsi lancé un important projet intitulé Garantir la robustesse de l’IA contre la tromperie (GARD), visant à étudier ces réseaux antagonistes. Hava Siegelmann, directrice du programme GARD, a récemment déclaré au MIT Technology Review que le but de ce projet était de développer des modèles d’IA robustes résistant à un large éventail d’attaques adverses, plutôt que simplement capables de se défendre contre des attaques spécifiques.
