L’intelligence artificielle (IA) agit comme un miroir. Les outils d’apprentissage machine sont conçus pour détecter des modèles. Malheureusement ils intègrent souvent les mêmes préjugés que nous savons exister dans notre culture. Les algorithmes peuvent être sexistes, racistes et contribuer à perpétuer d’autres inégalités structurelles de notre société. Mais contrairement aux humains, les algorithmes n’ont pas (encore ?) l’obligation de se justifier. En fait, les développeurs eux-mêmes sont pas toujours capables d’expliquer les résultats obtenus. De plus en plus de gens sont donc incapables de comprendre pourquoi ils ont perdu leurs prestations de soins de santé, se sont vu refuser un prêt, n’ont pas obtenu l’emploi auquel ils ont postulé ou se sont vu refuser une location d’appartement ; toutes ces décisions étant de plus en plus prises en partie par des systèmes automatisés.
Le service de recherche du Département de la Défense travaille sur la mise au point de modèles d’apprentissage machine pouvant plus facilement rendre compte de la façon dont ils prennent des décisions. Des entreprises comme Alphabet, IBM et le cabinet d’audit KPMG créent ou ont déjà créé des outils pour expliquer le cheminement de leurs produits d’IA. Néanmoins, il n’y a pas de norme commune. Une banque doit-elle rendre public le code informatique qui se cache derrière son algorithme pour accorder un prêt ?
Un algorithme qui calcule l’approbation de prêts devrait pouvoir expliquer non seulement pourquoi le crédit vous a été refusé, mais aussi ce que vous pouvez faire pour modifier cette décision. Il devrait indiquer que l’on vous a refusé le prêt parce que vous n’aviez pas assez d’économies et indiquer le montant minimum dont vous auriez besoin pour épargner davantage afin d’être approuvé. Offrir ces explications n’exige pas que les chercheurs publient le code qui l’exécute. Vous n’avez pas nécessairement besoin de comprendre comment fonctionne un système d’apprentissage machine pour savoir pourquoi il a pris une décision.
Il y a d’autres facteurs induisant une forme d’injustice chez l’IA, que les explications ou les recours ne résoudraient pas à eux seuls. Fournir des explications n’a pas d’impact sur le traitement des variables que les systèmes automatisés prennent en considération. En tant que société, nous devons encore décider quelles données peuvent être utilisées par les algorithmes pour faire des déductions. Dans certains cas, les lois sur la discrimination peuvent empêcher l’utilisation de catégories comme la race ou le sexe, mais il est possible que des procurations pour ces mêmes catégories soient toujours utilisées, comme les codes postaux. Les entreprises recueillent de nombreux types de données, dont certaines peuvent sembler très intrusives pour les consommateurs. Il importe donc de savoir quels processus sociaux sont en place autour des algorithme.
La suite ici (Louise Matsakis)
