Imaginez ce scénario : un chef d’État rencontre les fondateurs d’une startup du secteur des technologies de la santé qui prétend avoir conçu une application d’intelligence artificielle (IA) capable de prédire quels patients COVID-19 sont les plus susceptibles de développer des maladies respiratoires graves.
Alors que les cas confirmés dépassent le million dans le monde, une telle application serait un outil bienvenu. Elle pourrait aider les médecins dans le processus de décision concernant l’attribution des lits et améliorer la gestion des flux de patients. Combiné à des tests effectués en masse sur les sites d’infection identifiés et dans des endroits stratégiques, notamment les aéroports et les gares, un tel outil pourrait idéalement contribuer à prévenir la surcharge hospitalière et à assouplir les règles de distanciation sociale.
Aucun outil de ce type n’est actuellement utilisé, bien qu’un groupe de chercheurs de l’université de New York travaille actuellement sur un projet similaire.
Tout dirigeant confronté à une nouvelle solution technologique comme cette application hypothétique doit se poser trois questions principales. Premièrement, l’application est-elle fiable ? Deuxièmement, est-elle sûre ? Enfin, est-elle équitable ? À leur tour, ces questions soulèvent une myriade de questions complémentaires concernant les définitions de la fiabilité, de la sécurité et de l’équité envisagées, ainsi que leurs paramètres d’évaluation.
Idéalement, les réponses à ces questions devraient rendre un tel système d’IA auditable, ce qui signifie qu’un comité de recherche, ou toute tierce partie compétente désignée, devrait pouvoir évaluer si le système est digne de confiance en examinant la documentation appropriée. Malheureusement, l’accès à cette documentation – et son examen – peut s’avérer difficile dans la pratique.
Que signifie « approprié » lors de l’évaluation de l’IA ? S’agit-il d’informations sur un ensemble de données relatives à l’entraînement ? Une description du modèle, y compris les caractéristiques de performance et les pièges potentiels ? Qu’en est-il d’un cadre complet d’évaluation des risques qui intègre des stratégies d’atténuation des biais ? Il est particulièrement difficile de répondre à cette question, en partie parce que le secteur de l’IA n’a actuellement aucun processus normalisé pour documenter les systèmes d’IA.
