Pourquoi cet article est intéressant ? L. Bardon . – ChatGPT a atteint le point d’inflexion du buzz en faisant la une du journal télévisé de TF1 face à ce qui semble être un outil “oracle” d’un niveau sans précédent. Cela me semble plus démontrer, encore une fois, que l’usage prévaut sur la capacité technologique. ChatGPT a de nombreux cousins issus de la même famille : les Transformers. Et dans la famille, ChatGPT n’est pas l’aîné. BLOOM d’Hugging Face ou PaLM de Google disposent de davantage de paramètres (175 milliards < 176 milliards (BLOOM) < 540 miiliards (PaLM)).
Aujourd’hui il semblerait que USAGE>ETHIQUE. Sous couvert d’être un institut de recherche, donc sans courir de risque d’image qui viendrait impacté le chiffre d’affaires (vs ses concurrents), OpenAI a sorti chatGPT en mode bêta et rafler la mise. Et nous nous sommes tous précipités pour tester au détriment du fait que nous cédions, encore une fois, nos données, à un outil gratuit en échange de bénéfices immédiats. Mais comment faire autrement ? En 2023 il n’existe toujours pas de modèle alternatif à l’échelle qui me permettrait de contrôler, au moins en partie, la valeur de mes données.
USAGE > TECH. Rien de neuf pourtant. Je me souviens en 2008 avoir voulu acheter mon premier smartphone et donc effectuer beaucoup de recherches pour établir mon benchmark. A l’époque, les possibilités fonctionnelles des windows phone me bien plus abouties que celles du premier iphone. Et pourtant, l’expérience utilisateur tout intégrée et la facilité d’usage associé ont enterré les windows phone. Il me semble que nous vivons la même chose sur chatGPT. Je lis depuis des années des papiers laissant penser que Google aurait développé des outils d’IA que l’entreprise ne mettrait sciemment pas à disposition du grand public par peur/souci éthique de la puissances des usages que cela permet.
Le présent est la bêta version du futur.
Synthèse
Nous avons atteint le pic de la hype ChatGPT. Lancé en décembre dernier sous la forme d’une application Web par la société OpenAI, basée à San Francisco, le chatbot a explosé auprès du grand public presque du jour au lendemain. Poussé à l’action par son ancien rival dans la bataille de la recherche, Google accélère le déploiement de son propre chatbot, LaMDA. Ce chatbot est l’itération la plus aboutie à ce jour d’une lignée de grands modèles linguistiques remontant à plusieurs années.
Voici comment nous en sommes arrivés là.
Années 80 et 90 : réseaux de neurones récurrents
- Les textes étant constitués de séquences de lettres et de mots de longueur variable, les modèles de langage nécessitent un type de réseau neuronal capable de traiter ce type de données.
- Les réseaux neuronaux récurrents, inventés dans les années 1980, peuvent traiter des séquences de mots, mais leur apprentissage est lent et ils peuvent oublier les mots précédents dans une séquence.
2017 : Transformers
- Une équipe de chercheurs de Google invente les transformers, un type de réseau neuronal capable de repérer où chaque mot ou phrase apparaît dans une séquence.
- Le sens des mots dépend souvent de celui des autres mots qui les précèdent ou les suivent.
- En suivant les informations contextuelles, les transformers peuvent traiter des chaînes de texte plus longues et saisir le sens des mots avec plus de précision.
2018-2019 : GPT et GPT-2
- Les deux premiers grands modèles de langage d’OpenAI apparaissent à quelques mois d’intervalle.
- Le modèle GPT (abréviation de Generative Pre-trained Transformer) bat les normes les plus récentes en matière de traitement du langage naturel à l’époque.
- L’apprentissage non supervisé permet au logiciel de trouver lui-même des modèles dans les données sans qu’il soit nécessaire de lui dire ce qu’il regarde.
GPT-3
- Sa capacité à générer des textes proches de ce qu’écrirait un humain constitue un grand pas en avant.
- Il a également été entraîné sur beaucoup plus de données, mais l’entraînement sur du texte tiré d’Internet pose de nouveaux problèmes en raison des biais induits et de sa dépendance à la désinformation et aux préjugés.
Décembre 2020 : Texte toxique et autres problèmes
- Le reste du monde de la technologie est confronté à une remise en question très médiatisée vis-à-vis de l’incapacité à freiner les tendances toxiques de l’IA.
- Ce n’est un secret pour personne que les grands modèles linguistiques peuvent “cracher “des textes faux, voire haineux, mais les chercheurs ont constaté que la résolution du problème ne figurait pas sur la liste des tâches à accomplir par la plupart des grandes entreprises technologiques.
Janvier 2022 : InstruGPT
- OpenAI tente de réduire la quantité de fausses informations et de textes offensants produits par GPT-3 en utilisant l’apprentissage par renforcement pour entraîner une version du modèle basée sur les préférences des testeurs humains.
Mai-juillet 2022 : OPT, BLOOM
- Une critique courante des grands modèles de langage est que le coût de leur formation rend leur construction difficile pour tous les laboratoires, sauf les plus riches.
- Cela soulève des inquiétudes quant au fait qu’un système d’IA aussi puissant soit construit par de petites équipes à huis clos au sein de grosses entreprises, sans examen approprié et sans l’apport d’une communauté de recherche plus large.
- En réponse, une poignée de projets collaboratifs ont développé de grands modèles de langage et les ont mis à disposition gratuitement.
Décembre 2022 : ChatGPT
- OpenAI annonce être époustouflé par l’accueil réservé à son produit.
La suite ici (Will Douglas Heaven)
