Les tribunaux, les banques et d’autres institutions utilisent des systèmes automatiques d’analyse de données pour prendre des décisions concernant votre vie. Pourquoi devrions-nous laisser à ceux qui créent les algorithmes le pouvoir de décider s’ils font prendre les bonnes décisions ?
ProPublica, une organisation de nouvelles à but non lucratif ayant remporté le prix Pulitzer, a analysé le logiciel d’évaluation des risques connu sous le nom de COMPAS. Il est utilisé pour prédire le taux de récidive des criminels. Guidés par de telles prévisions, les juges exerçant dans les tribunaux aux États-Unis, prennent des décisions concernant l’avenir des défendeurs et des condamnés, en déterminant tout, de la caution aux peines de prison. Lorsque ProPublica a comparé les évaluations de risque de COMPAS de plus de 10 000 personnes arrêtées dans un comté de Floride, à quelle fréquence ces personnes ont récidivé, l’organisation a découvert que l’algorithme « prédisait correctement la récidive pour les accusés noirs et blancs ». Mais quand l’algorithme se trompait, il ne le faisait pas de façon homogène que les accusés soient noirs ou blancs. Plus précisément, selon l’algorithme, « les noirs sont presque deux fois plus susceptibles que les blancs de présenter un risque plus élevé mais ne récidivent pas réellement. » Et COMPAS a tendance à commettre l’erreur inverse avec les blancs. De tels systèmes, au-delà des biais raciaux induits implicitement par des développeurs, de tels systèmes sont-ils appropriés sans la mise en place de systèmes de contrôles reposant sur des principes éthiques publics et transparents ?
