Deux chercheurs d’OpenAI, réputée être à la pointe de la recherche en intelligence artificielle, affirment avoir mesuré que les progrès réalisés par les algorithmes étaient plus rapides que la loi de Moore. Coup de com ou réalité ?
Il y a huit ans, un algorithme d’apprentissage machine a appris à identifier un chat ; et cela a stupéfié le monde. Quelques années plus tard, l’IA pouvait traduire avec précision les langues et battre les champions du monde du jeu de Go. Aujourd’hui, l’apprentissage machine a commencé à exceller dans les jeux vidéo multijoueurs complexes comme Starcraft et Dota 2 et dans les jeux subtils comme le poker. L’IA, semble-t-il, s’améliore rapidement.
Dans un billet de blog et un article rédigés par Danny Hernandez et Tom Brown d’OpenAI et publié sur arXiv, un dépôt ouvert pour les études pré-imprimées (ou non encore examinées par des pairs), les chercheurs affirment avoir commencé à suivre une nouvelle mesure de l’efficacité de l’apprentissage automatique. En utilisant cette mesure, ils montrent que l’IA a gagné en efficacité à un rythme effréné.
Pour quantifier les progrès, les chercheurs ont choisi un algorithme de référence pour la reconnaissance d’images (AlexNet) utilisé depuis 2012 et ont suivi la puissance de calcul nécessaire aux nouveaux algorithmes pour égaler ou dépasser cette référence. Ils ont constaté que l’efficacité algorithmique doublait tous les 16 mois, dépassant ainsi la loi de Moore. En 2019, l’IA de reconnaissance d’images nécessitait 44 fois moins de puissance de calcul pour atteindre des performances similaires à celles d’AlexNet. Bien qu’il y ait moins de points de données, les auteurs ont constaté des taux d’amélioration encore plus rapides sur des périodes plus courtes dans d’autres tâches telles que la traduction et le jeu.
Il est à noter que l’étude se concentre sur les algorithmes d’apprentissage en profondeur, l’approche dominante de l’IA pour le moment. La question de savoir si l’apprentissage en profondeur continue à progresser de manière aussi spectaculaire est une source de débat au sein de la communauté de l’IA. Certains des meilleurs chercheurs du domaine s’interrogent sur le potentiel à long terme de l’apprentissage en profondeur pour résoudre les plus grands défis du domaine. Dans un article précédent, OpenAI a montré que les dernières IA qui font la une des journaux nécessitent une puissance de calcul plutôt choquante pour s’entraîner, et que les ressources nécessaires augmentent à un rythme effréné.
