L. Bardon . – GPT-3, l’IA gargantuesque qui parle un langage étrangement humain, semble être une merveille. Mais c’est aussi en grande partie un mirage. Le problème des modèles linguistiques, comme ils ne sont formés que sur le texte, c’est qu’ils manquent de bon sens. Des chercheurs de l’université de Caroline du Nord, à Chapel Hill, ont conçu une nouvelle technique pour changer cela. Ils l’appellent “vokénisation” et elle donne aux modèles linguistiques comme GPT-3 la capacité de “voir”. Les mots utilisés pour former les modèles de langue sont appelés “tokens”. Les chercheurs de l’UNC ont donc décidé d’appeler voken l’image associée à chaque jeton de leur modèle de langage visuel. Vokenizer est ce qu’ils appellent l’algorithme qui trouve des jetons pour chaque jeton, et vokenization est ce qu’ils appellent le processus entier
Eleuther est un effort open source visant à égaler GPT-3, un puissant algorithme linguistique publié en 2020 par la société OpenAI, qui est parfois capable d’écrire des articles en anglais d’une cohérence frappante lorsqu’on lui soumet un texte. Eleuther est encore loin de pouvoir égaler toutes les capacités de GPT-3, mais les chercheurs ont récemment publié une nouvelle version de leur modèle, appelée GPT-Neo, qui est à peu près aussi puissante que la version la moins sophistiquée de GPT-3.
GPT-3 est constitué d’un énorme réseau neuronal artificiel et entraîné par plusieurs milliards de mots issus de textes extraits du Web. Si GPT-3 peut être étonnamment éloquent et articulé, il peut aussi débiter du charabia et des déclarations offensantes. Des dizaines de groupes de recherche et d’entreprises cherchent des moyens d’utiliser cette technologie. Le code de GPT-3 n’a pas été publié, mais les quelques dizaines de chercheurs à l’origine d’Eleuther, issus du monde universitaire et de l’industrie, s’appuient sur des documents qui décrivent son fonctionnement.
M. Rush, qui n’est pas affilié à Eleuther, affirme que le projet est l’un des plus impressionnants parmi le nombre croissant d’initiatives open source dans le domaine du traitement automatique des langues. Outre la publication de puissants algorithmes linguistiques inspirés de GPT-3, l’équipe d’Eleuther a créé et publié un ensemble de données textuelles de haute qualité, connu sous le nom de Pile, pour l’entraînement d’algorithmes NLP.
Le projet Eleuther utilise des ressources informatiques distribuées, offertes par la société de cloud computing CoreWeave ainsi que par Google, par l’intermédiaire du TensorFlow Research Cloud, une initiative qui met à disposition de la puissance informatique libre. Pour faciliter l’accès à la puissance informatique, l’équipe d’Eleuther a créé un moyen de répartir les calculs d’IA sur plusieurs machines.
OpenAI fait le pari que GPT-3 peut être commercialisé. En juillet 2019, OpenAI a reçu un investissement d’un milliard de dollars de Microsoft, qui, un an plus tard, a obtenu les droits exclusifs de la licence GPT-3. OpenAI affirme que plus de 300 projets GPT-3 sont en cours de réalisation, en utilisant une API à accès limité. Eleuther pourrait faciliter la création d’outils similaires sans accès à l’API GPT-3.
1 commentaire