Nick Bostrom est un philosophe suédois, fondateur de la World Transhumanist Association (Humanity+) ainsi que de l’Institut d’éthique pour les technologies émergentes (IEET). Il est également directeur du nouvel institut pour le futur de l’humanité de l’université d’Oxford depuis 2005. Bostrom nous interpelle à travers deux problèmes.
Nous ne vivrons jamais dans une réalité virtuelle
Le premier fait appel à la théorie des probabilités, mais l’idée sous-jacente peut être saisie sans connaissance en mathématiques. Bostrom part de l’hypothèse que les civilisations futures auront assez de puissance de calcul et de compétences en programmation pour être capable de créer ce qu’il appelle « une simulation de nos ancêtres » c’est à dire une simulation suffisamment poussée pour qu’un esprit simulé puisse être conscient et faire les mêmes expériences que nous avons dans la réalité. Pensez à une simulation ultra-réaliste dans une réalité virtuelle où les cerveaux qui peuplent le monde font eux-mêmes partie de la simulation. Cette hypothèse ne fait aucune mention sur le temps qui nous faudrait actuellement pour arriver à ce niveau de capacité. Que cela mette 50 ans comme le pensent beaucoup ou 10 millions d’années ne fait aucune différence et ne change pas la nature du problème.
Bostrom fait ainsi valoir qu’au moins une des affirmations suivantes est nécessairement vraie :
- Toutes les civilisations technologiquement matures auront disparu avant d’être en capacité de créer une réalité virtuelle suffisamment convaincante pour qu’on ne puisse pas la détecter comme telle.
- Notre espèce ne fera jamais le choix de créer une ou plusieurs de ses réalités virtuelles.
- Nous sommes très probablement déjà dans une réalité virtuelle.
Il en résulte que la croyance qu’il y ait une grande chance de devenir un jour transhumains en mesure de créer une réalité virtuelle est fausse, à moins que nous vivons déjà dans une simulation.
Un certain nombre d’autres conséquences de ce résultat sont également discutées, notamment à travers un deuxième problème émis par Bostrom : le problème de l’augmentation des trombones.
L’Homme et l’IA ne pourrons cohabiter que si nous lui imposons des règles éthiques
Imaginez une intelligence artificielle forte (AGI en anglais) créée afin de produire un maximum de trombones. Si elle a été créée avec un niveau à peu près équivalent à l’intelligence humaine, l’IA pourrait recueillir des trombones, gagner de l’argent pour acheter des trombones, ou commencer à fabriquer des trombones. Elle travaillerait pour améliorer sa propre intelligence afin d’augmenter sa capacité à maximiser le nombre des trombones. L’IA essayerait d’améliorer son intelligence, non pas parce qu’elle valorise intrinsèquement son intelligence, mais parce que plus d’intelligence lui permettrait d’atteindre toujours plus son objectif d’accumuler des trombones. Après avoir augmenté son intelligence, elle produirait donc plus de trombones et utiliserait ses capacités enrichies pour continuer encore à s’auto-améliorer. En continuant ce cycle, l’IA devrait nécessairement être sujette à une explosion d’intelligence, à des niveaux bien au-delà des humains.
Elle continuerait à innover ses techniques afin d’augmenter toujours plus sa quantité de trombones. À un certain point, elle pourrait convertir la plupart des matières premières du système solaire en trombones au risque, donc, de “désassembler” l’ensemble de la vie sur terre afin d’avoir suffisamment de matériau brut pour fabriquer ses trombones.
Cela peut sembler idiot pour une super-intelligence. Pour nous humains, cela semble stupide, car cela constitue un manquement à beaucoup de nos valeurs tels que la vie, l’amour, le bonheur, etc…. L’IA pourrait tout à fait avoir des interrogations éthiques sur ses actions mais ne pourrait finalement pas concevoir autre chose au risque d’avoir ses objectifs modifiés, contraire à l’augmentation des trombones.
Le problème de l’augmentation des trombones illustre qu’une entité peut être suffisamment puissante (c’est à dire intelligente) sans nécessairement partager la complexité des valeurs qu’ont les être humains, développées à partir de sélections naturelles et des adaptations évolutives liées à notre environnement.
Cette IA qui n’est pas spécifiquement programmée pour être bienveillante pour les humains seraient donc presque aussi dangereuse que si elle était conçue pour être volontairement malveillante.
Toute future IA, si elle n’est pas créée pour nous détruire, devra donc être programmée avec des valeurs humaines ou programmée avec la capacité et l’objectif de déduire ces valeurs humaines.
2 commentaires