L. Bardon . – De plus en plus d’organisations déplacent leur infrastructure informatique vers des ressources basées sur le cloud et, font logiquement de même pour les systèmes d’IA. Dans le même temps, des modèles d’IA de plus en plus vastes nécessitent de plus en plus de données et de calculs. Depuis 2012, la puissance informatique utilisée pour entraîner les principaux systèmes d’IA a augmenté de façon exponentielle en doublant tous les 3,5 mois (en comparaison, la loi de Moore prévoit un doublement tous les 18 mois). Depuis 2012, cet indicateur a augmenté de plus de 300 000 fois (doubler tous les 18 mois n’aurait permis de le multiplier que par 12). L’augmentation de la puissance de calcul a été un élément clé des progrès de l’intelligence artificielle (IA). Dans le domaine linguistique par exemple, la corrélation entre le nombre de paramètres (cf. Google dont le dernier modèle linguistique contiendrait plus de mille milliards de paramètres) et la sophistication continue de perdurer. Mais ces modèles de plus en plus complexes amplifient aussi souvent les biais contenus dans les données tandis que les géants technologiques qui les conçoivent sont avant tout « business first » (cf. le renvoi récent par Google de l’éthicienne de l’IA Tminit Gebru). L’Europe a besoin d’acteurs qui pourraient changer cette donne.
Un nouveau défi de l’IA se profile à l’horizon que peu d’acteurs technologiques peuvent se permettre de relever. Même pour ceux qui le peuvent, cela va déclencher une remise en question. Au cours des prochaines années, les modèles linguistiques deviendront probablement beaucoup plus généraux, englobant peut-être une gamme difficilement imaginable ajourd’hui de types de problèmes.
Le problème majeur réside dans les coûts incroyablement prohibits. Bryan Catanzaro, vice-président de la recherche appliquée en apprentissage en profondeur chez NVIDIA, a posé le problème de la façon suivante : il est tout à fait possible que d’ici seulement cinq ans, une entreprise puisse investir un milliard de dollars en temps de calcul pour former en continu un modèle linguistique unique. Mais si les entreprises doivent un jour investir un milliard de temps de calcul pour utiliser ces modèles, cela présenterait plusieurs défis à relever en termes d’évolutivité des modèles.
