« Une nouvelle loi est en cours », « une loi suralimentée ». Huang, PDG de Nvidia, ne l’a pas appelé la loi de Huang contrairement à Gordon Moore. À quelle vitesse la technologie GPU (processeur graphique) progresse-t-elle ? Dans son discours d’ouverture, Huang a indiqué que les GPU actuels de Nvidia étaient aujourd’hui 25 fois plus rapides qu’il y a 5 ans. Selon la loi de Moore, la vitesse des GPU n’auraient du augmenter que d’un facteur 10. Huang a ensuite illustré cette augmentation de la puissance des GPU via une autre référence : le temps nécessaire pour former AlexNet, un réseau neuronal entraîner avec 15 millions d’images.
Il y a 5 ans, il a fallu 6 jours à AlexNet sur 2 des GTX 580 de Nvidia pour suivre le processus de formation. Grâce au dernier produit Nvidia, le DGX-2, il faut seulement 18 minutes, soit un facteur de 500. Si les GPU ont besoin d’une loi qui leur est propre, c’est parce qu’ils bénéficient d’avancées simultanées sur de multiples fronts : architecture, interconnexions, mémoire, algorithmes, etc..
