Pourquoi cet article est intéressant ? L. Bardon . – D’après les estimations actuelles, en 2030 Internet seul consommera autant d’énergie que l’humanité en 2010 ! Djéà en 2019, des chercheurs de l’université du Massachusetts, Amherst, publiaient un article montrant que l’énergie nécessaire pour entraîner un seul réseau neuronal pourrait entraîner des émissions de CO2 près de cinq fois supérieures à celles d’une voiture américaine moyenne pendant sa durée de vie.
Le coût carbone, lié a croissance de l’Internet des objets et aux efforts réalisés pour intégrer des systèmes d”IA dans des appareils électroniques comme les smartphones et les haut-parleurs intelligents, monte en flèche.
L’oeuf ou la poule ? Il y a quelques années, Google révélait avoir donné le contrôle du refroidissement de plusieurs de ses centres de données leviathan à un algorithme d’IA. Google avait testé pendant 2 ans un algorithme qui apprennait à ajuster au mieux les systèmes de refroidissement (ventilateurs, ventilation et autres équipements) pour réduire la consommation d’énergie. Ce système faisait auparavant des recommandations aux gestionnaires de centres de données, qui décidaient de les mettre en œuvre ou non, ce qui se traduisait par des économies d’énergie d’environ 40%. Et pourtant les technologies mises en place pour moins consommer vont engendrer… plus de consommation.
Le présent est la bêta version du futur.
Synthèse
Les grands modèles de génération de texte dissimulent un secret qui n’en est plus un : leur entraînement et leur fonctionnement nécessitent de grandes quantités d’énergie. L’ampleur réelle de l’empreinte carbone de ces modèles reste un mystère.
Hugging Face pense avoir trouvé une nouvelle et meilleure façon de la calculer : en estimant les émissions produites pendant tout le cycle de vie du modèle et non plus seulement pendant l’entraînement. L’objectif étant d’établir une nouvelle norme pour les organisations qui développent des modèles d’IA et d’apporter des éclaircissements sur l’ampleur réelle de l’empreinte carbone des grands modèles linguistiques.
Pour tester sa nouvelle approche, Hugging Face a estimé les émissions globales de son propre modèle linguistique de grande taille, BLOOM, qui a été lancé plus tôt cette année. Ce processus a nécessité l’addition de nombreux chiffres différents : la quantité d’énergie utilisée pour former le modèle sur un superordinateur, l’énergie nécessaire à la fabrication du matériel du superordinateur et à la maintenance de son infrastructure informatique, et l’énergie utilisée pour faire fonctionner BLOOM une fois qu’il a été déployé. Les chercheurs ont calculé cette dernière partie à l’aide d’un outil logiciel appelé CodeCarbon, qui a suivi les émissions de dioxyde de carbone produites par BLOOM en temps réel sur une période de 18 jours.
Hugging Face a ainsi estimé que la formation de BLOOM avait généré l’émission de 25 tonnes de dioxyde de carbone. Mais les chercheurs ont constaté que ce chiffre doublait lorsqu’ils prenaient en compte les émissions produites par la fabrication du matériel informatique utilisé pour la formation, l’infrastructure informatique plus large et l’énergie nécessaire pour faire fonctionner BLOOM une fois l’entraînement terminé. Si ce chiffre peut sembler élevé pour un seul modèle (l’équivalent d’environ 60 vols entre Londres et New York), il est nettement inférieur aux émissions associées à d’autres modèles de la même taille.
Cela s’explique par le fait que BLOOM a été entraîné sur un superordinateur français alimenté principalement par l’énergie nucléaire, qui ne produit pas d’émissions de dioxyde de carbone. Les modèles formés en Chine, en Australie ou dans certaines régions des États-Unis, dont les réseaux énergétiques reposent davantage sur les combustibles fossiles, sont susceptibles d’être plus polluants. Après le lancement de BLOOM, Hugging Face a estimé que l’utilisation du modèle émettait environ 19 kilogrammes de dioxyde de carbone par jour, ce qui est similaire aux émissions produites par la conduite d’une voiture neuve moyenne sur environ 54 miles. À titre de comparaison, on estime que le GPT-3 d’OpenAI et l’OPT de Meta émettent respectivement plus de 500 et 75 tonnes métriques de dioxyde de carbone pendant la formation.
Les conclusions de l’article sont un “signal d’alarme pour les personnes qui utilisent ce type de modèle, qui sont souvent de grandes entreprises technologiques”, déclare David Rolnick, professeur adjoint à l’école d’informatique de l’Université McGill et au Mila, l’Institut québécois d’intelligence artificielle.
Les impacts de l’IA ne sont pas inévitables. Ils sont le résultat des choix que nous faisons quant à la façon dont nous utilisons ces algorithmes.
La suite ici (Melissa Heikkilä)
Merci, article très intéressant…pour une fois, il y a des chiffres sur les différentes sources de coût CO2 de ce modèle lunguistique BLOOM. Exrension : quelle est l’empreinte carbone d’un moteur de recherche indispensable à la navigation sur internet…et la navigation elle-même ? Certainement difficile de répondre.