L’apprentissage en profondeur constitue l’avant-garde de ce qu’on appelle la révolution de l’intelligence artificielle (IA) depuis plusieurs années maintenant. Beaucoup de gens croyaient qu’il s’agissait de la solution miracle qui nous mènerait au monde merveilleux de l’IA générale. Plusieurs paris ont été pris entre 2014 et 2016 lorsque de nouvelles frontières ont été repoussées, suite à la victoire d’Alpha Go par exemple. Elon Musk annonçait que la voiture autonome serait bientôt une réalité, au point que Tesla a même commencé à vendre cette option aux clients (rendue possible grâce à une future mise à jour du logiciel). Et depuis ?
Si en surface l’IA reste au centre d’un battage médiatique où tout le monde veut sa part du gâteau, des premiers signaux faibles d’un hiver de l’IA semble apparaître. Les services de communication de toutes les entreprises mettent le buzzword IA dans tous les communiqués de presse, Elon Musk continue de promettre des voitures autonome et le PDG de Google répète sans cesse le slogan d’Andrew Ng selon lequel l’IA sera une transformation encore plus importante que l’électricité. Mais ce récit commence à se fissurer peu à peu.
Il y a beaucoup moins de tweets faisant l’éloge de l’apprentissage en profondeur comme algorithme ultime. L’angle des articles devient moins « révolutionnaire » et beaucoup plus « évolutionnaire ». Un des slogans clés répétés sur l’apprentissage en profondeur est qu’il s’adapte presque sans effort. Mais est-ce réellement le cas ? AlexNet en 2012 disposait de 60 millions de paramètres. Les modèles actuels en ont au moins 1000 fois plus. Une étude d’OpenAI vient justement de s’intéresser à la courbe d’évolution de la puissance informatique nécessaire aux progrès récents de l’apprentissage en profondeur. Nous pouvons maintenant former AlexNet en quelques minutes plutôt qu’en quelques jours, mais pouvons-nous former un AlexNet 1000 fois plus grand en quelques jours et obtenir de meilleurs résultats qualitativement ? Apparemment pas.
Self driving crashes
En mai 2018, Elon Musk n’a pas tenu sa promesse marketing qu’une voiture autonome Tesla traverse seule les Etats-Unis d’une côte à l’autre. Selon les rumeurs il y aurait du des essais infructueux nécessitant une prise en main humain une trentaine de fois. Il y a des tonnes de décisions que nous prenons tous les jours et qui ne sont pas verbalisées. Or la conduite automobile met en jeu ces mécanismes. Ces derniers ont évolué depuis un milliard d’années pour nous garder en sécurité, et le contexte de conduite (bien que moderne) fait appel à de nombreux réflexes de ce type. Mais comme la plupart de ces compétences ne sont pas facilement verbalisables, elles sont difficiles à mesurer et, par conséquent, nous n’optimisons pas du tout nos systèmes d’apprentissage machine sur ces derniers.
Prédire l’hiver de l’I.A, c’est comme prédire un krach boursier : il est impossible d’indiquer avec précision quand cela se produira. Comme avant un krach boursier, on peut néanmoins observer des signes de l’effondrement imminent. Actuellement le récit IA trouve une résonance si forte qu’il est plus facile d’ignorer les signaux.
La suite ici (Filip Piekniewski)
