En août 2017, les cinq entreprises dont la valorisation est la plus importante sont Apple, Google, Microsoft, Facebook et Amazon. Elles utilisent toutes de façon intensive les réseaux neuronaux d’apprentissage en profondeur développés dans mes laboratoires en Allemagne et en Suisse depuis le début des années 1990, en particulier le réseau de neurones à mémoire à long terme (LSTM). Au début, le LSTM est stupide. Il ne sait rien. Mais il apprend par l’expérience. Son fonctionnement est inspiré par celui du cortex humain, dont chacun des plus de 15 milliards de neurones sont connectés à 10 000 autres neurones en moyenne. Des neurones en entrée alimentent le reste avec des données (son, vision, douleur). Des neurones en sortie déclenchent les muscles. D’autres neurones sont cachés entre les deux. Tous “apprennent” en modifiant les forces de connexion définissant comment les neurones s’influencent mutuellement. Le mode de fonctionnement de notre LTSM est similaire, un réseau neuronal récurrent artificiel (RNN), qui surpasse les méthodes précédentes dans de nombreuses applications. Ce dernier apprend à contrôler les robots, à analyser les images, à résumer les documents, à reconnaître les vidéos et l’écriture manuscrite, à lancer des robots de discussion, à prédire les maladies et l’évolution des marchés boursiers, à composer de la musique et bien plus encore. Le réseau de neurones à mémoire est devenu la base d’une grande partie de ce qu’on appelle maintenant l’apprentissage en profondeur.
En 2016, près de 30% de l’incroyable puissance de calcul de tous les centres de données Google a été utilisée par les réseaux neuronaux à mémoire. À partir de 2017, Facebook utilise les réseaux neuronaux à mémoire pour traiter 4,5 milliards de traductions par jour, soit plus de 50 000 par seconde. Vous utilisez probablement des réseaux neuronaux à mémoire tout le temps. Mais d’autres algorithmes d’apprentissage en profondeur sont également disponibles pour des milliards d’utilisateurs. Les plus grands réseaux neuronaux à mémoire d’aujourd’hui disposent d’un milliard de connexions ou plus. En extrapolant cette tendance, dans 25 ans, nous devrions utiliser de réseaux neuronaux dont la taille est comparable à celle du cortex humain, avec plus de 100 000 milliards de connexions électroniques, qui seront beaucoup plus rapides que les connexions biologiques. Quelques décennies plus tard, nous aurons peut-être des ordinateurs bon marché dont la puissance de calcul brute sera équivalente aux 10 milliards de cerveaux humains de la planète, qui ensemble ne peuvent probablement pas exécuter plus de 1030 opérations élémentaires significatives par seconde. Et la limite physique de Bremermann (1982) pour 1 kilogramme de substrat de calcul est encore 1020 fois plus grande que cela. Cette limite ne devrait pas être atteinte avant la fin du siècle, ce qui est “bientôt”. Un siècle ne représente qu’1% des 10.000 ans de civilisation humaine.
Depuis 1990, je m’intéresse particulièrement aux IA non supervisées qui disposent de ce que j’ai appelé la “curiosité artificielle” et la créativité. Ces IA inventent leurs propres objectifs et expériences pour comprendre comment le monde fonctionne et ce qu’elles peuvent y fairet. Ces IA peuvent utiliser des réseaux neuronaux à mémoire comme un sous-module qui apprend à prédire les conséquences des actions. Elles n’imitent pas servilement les enseignants humains, mais obtiennent des “récompenses” en créant et résolvant continuellement de nouveaux problèmes qui leur sont propres, auparavant insolubles, un peu comme les enfants apprennent à résoudre des problèmes par le jeu.
En extrapolant, je pense que dans quelques années nous aurons une IA qui apprendra et deviendra progressivement aussi intelligente qu’un petit animal, en apprenant continuellement avec curiosité et créativité à planifier, raisonner et décomposer rapidement une grande variété de problèmes en sous-problèmes solubles (ou déjà résolus). Peu de temps après avoir développé une IA aussi intelligente qu’un singe nous pourrions créer une IA disposant des mêmes capacités cognitives qu’un humain ; mais sur des applications vraiment illimitées. Et ça ne s’arrêtera pas là. De nombreuses IA curieuses qui inventent leurs propres objectifs vont rapidement s’améliorer, n’étant limitées que par les limites fondamentales de l’informatique et de la physique.
Beaucoup de romans de science-fiction ont présenté des scénarii au sein desquels des IA omnipotentes dominent tout. Il est plus réaliste qu’émerge une variété gigantesque d’IA essayant d’optimiser toutes sortes de fonctions partiellement conflictuelles (et évoluant rapidement), dont beaucoup sont générées automatiquement, où chaque IA essaie continuellement de survivre et de s’adapter à des niches en évolution rapide dans les écosystèmes d’IA, et qu’elle soit motivée par une concurrence et une collaboration intenses qui dépassent notre imagination actuelle. C’est bien plus qu’une simple révolution industrielle. C’est quelque chose de nouveau qui transcende l’humanité et même la biologie.
La suite ici (Jurgen Schmidhuber)
