Une intelligence artificielle (IA) pourrait écrire de « fausses nouvelles » plus convaincantes que ne le ferait un humain, lancer des cyberattaques plus sophistiquées, diriger des armes autonomes mortelles et mettre en compétition de plus en plus de personnes se battre pour un nombre décroissant d’emplois. Ces possibilités semblent encore relativement éloignées, et font dire à beaucoup qu’il est encore prématuré d’y accorder une attention sérieuse.
Stuart Russell fait parti des pionniers qui étudient le potentiel de l’IA et la relation qui devrait se former entre l’IA et l’humanité à long terme. Il est également une autorité de premier plan dans les domaines de la robotique et de la bioinformatique. Russell estime que les actions que nous prenons aujourd’hui auront une grande influence sur la capacité de la société à faire face à des défis tels que la désinformation, les logiciels malveillants, les armes autonomes et le chômage. En ne s’y préparant pas dès maintenant, il estime que ces défis pourraient vite devenir insurmontables.
Il existe une version d’IA dite « compatible » avec l’humain qui n’est envisageable qu’en concevant les systèmes d’IA totalement différemment. Pour effectuer ce virage et les rendre obligatoirement bénéfiques pour l’homme, il faudrait changer la définition même de l’IA et la façon dont sont menées les recherches. La notion de « bénéfique » reste vague. Selon Russel, elle doit se baser sur 2 principes clés de conception :
- L’objectif principal de l’IA devrait être de maximiser la réalisation des valeurs humaines qui nous rendent singuliers
- Et l’IA ne doit jamais avoir accès à la liste de ces valeurs
