Les créateurs d’un système révolutionnaire d’intelligence artificielle (IA) capable d’écrire des reportages et des œuvres de fiction (surnommés » deepfakes for text « ) ont récemment pris la décision inhabituelle de ne pas rendre publiques leurs recherches, par crainte de leurs utilisations. OpenAI, une société de recherche à but non lucratif soutenue par Elon Musk, Reid Hoffman, Sam Altman et d’autres, affirme que son nouveau modèle d’IA, appelé GPT2, est si bon et le risque d’utilisation malveillante si élevé qu’il a été décidé de laisser plus de temps pour discuter des conséquences de cette avancée technologique.
GPT2 est un générateur de texte. Le système d’IA est alimenté par des textes, faisant entre quelques mots et une page entière. Les chercheurs lui demandent ensuite d’écrire les quelques phrases suivantes en fonction des prédictions qu’il fait sur ce qui devrait arriver ensuite. Le système repousse les limites de ce que l’on croyait possible, tant sur le plan de la qualité de la production que sur celui de la grande variété des utilisations possibles. Lorsqu’il est utilisé pour générer simplement du nouveau texte, GPT2 est capable d’écrire des passages plausibles qui correspondent à la fois dans le style et le sujet. Du point de vue de la recherche, GPT2 est révolutionnaire à deux égards.
L’une est sa taille, explique Dario Amodei, directeur de recherche d’OpenAI. Les modèles « étaient 12 fois plus grands, et l’ensemble de données était 15 fois plus grand et beaucoup plus large » que l’ancien modèle d’IA à la pointe de la technologie. GPT2 a été formé sur un ensemble de données contenant environ 10 millions d’articles, sélectionnés en parcourant le site de nouvelles sociales Reddit pour les liens ayant recueilli plus de 3 votes. La vaste collection de textes pesait 40 Go, assez pour stocker environ 35 000 exemplaires de Moby Dick. Le volume de données sur lequel a été formé GPT2 a directement affecté sa qualité, lui donnant plus de connaissances sur la façon de comprendre le texte écrit. Cela a également mené à la deuxième percée. GPT2 est beaucoup plus généraliste que les modèles de texte précédents. En structurant le texte saisi, il peut effectuer des tâches telles que la traduction et la synthèse, et réussir des tests simples de compréhension de la lecture, souvent aussi bien voir mieux que d’autres outils d’IA conçus spécialement pour ces tâches.
