Que sont les GPU, cette technologie à laquelle on doit l’essor des jeux vidéo et de l’IA ?

Les GPU ont permis l’explosion des jeux vidéos dans les années 1990 puis de l’IA depuis vingt ans. Ils permettent de faire certains calculs plus rapidement que les processeurs classiques.

Les progrès massifs dans le domaine de l’intelligence artificielle doivent beaucoup à un type de composant informatique, les GPU, pour graphical processing unit – à tel point que l’on considère aujourd’hui Nvidia, le plus grand concepteur de GPU au monde, comme un acteur clef du marché de l’IA avec l’une des capitalisation boursière la plus élevée de tous les temps. Revers de la médaille, ses actions en bourse ont dévissé quand une entreprise chinoise, DeepSeek, a annoncé pouvoir faire des calculs avec moins de GPU que ses concurrents.

Les GPU ont émergé dans les années 80, avant d’exploser avec le marché des jeux vidéo. Si on trouve aujourd’hui un GPU dans de nombreux ordinateurs personnels et surtout dans les consoles de jeux, il faut des dizaines de milliers de GPU pour faire tourner les plus gros systèmes d’IA dans des fermes de calculs dédiées.

Le marché des GPU est très concentré, tant au niveau de la conception, de la fabrication et de la fourniture (le nombre de GPU produits étant très largement inférieur à la demande), qu’au niveau de l’hébergement (ces fermes nécessitant une expertise rare). Ils sont donc devenu un enjeu géostratégique – avec des investissements en centaines de milliards aussi bien aux USA qu’en France, mais aussi un conflit commercial majeur entre les États-Unis et la Chine.

Qu’est-ce qu’un GPU ?

Les GPU existent depuis le début des années 80 ; mais leurs principes fondamentaux datent des années 60, quand les « processeurs vectoriels » ont émergé. Ceux-ci ont été conçus pour traiter de grands tableaux de données (un tableau à une dimension s’appelle un vecteur, d’où le nom de « processeurs vectoriels ») et appliquer sur chaque élément du tableau la même opération, par exemple additionner les éléments d’un tableau deux à deux.

La puissance des processeurs vectoriels réside dans le fait qu’ils sont capables d’appliquer en même temps une opération sur plusieurs éléments, alors que les processeurs classiques de votre ordinateur, également appelés « processeurs scalaires », n’appliquent les opérations que sur un seul élément à la fois. Pour additionner deux tableaux de 32 cases, un processeur vectoriel traitera les 32 éléments en une seule fois, alors qu’un processeur scalaire classique un seul élément à la fois. Le nombre d’éléments qu’un processeur vectoriel peut traiter en parallèle est variable d’une génération de processeurs à l’autre.

Ceci étant, les problèmes que doivent résoudre les ordinateurs consistent rarement à effectuer la même opération sur tous les éléments d’un grand tableau, en dehors de cas bien particuliers… dont les jeux vidéos, et une grande partie des systèmes d’IA justement !

Tous les quinze jours, des grands noms, de nouvelles voix, des sujets inédits pour décrypter l’actualité scientifique et mieux comprendre le monde. Abonnez-vous gratuitement dès aujourd’hui !

GPU et jeux vidéos

Pour faire tourner un jeu vidéo moderne haut de gamme sur un ordinateur ou sur une console, il faut être capable d’afficher 60 images par seconde en haute résolution 4K. Une image 4K est un rectangle (une matrice) de 3840 pixels de haut par 2160 pixels de large. Pour chaque pixel, il faut 3 valeurs (rouge, vert et bleu) pour pouvoir représenter la palette de couleurs. Par conséquent, il faut calculer et mettre à jour 1 492 992 000 pixels par seconde. Pour faire tourner des jeux vidéo, les GPU ont donc repris les principes des processeurs vectoriels.

Dans le courant des années 1980 et 1990, la démocratisation de l’informatique et des jeux vidéos a fait exploser le marché des GPU. Avec leur démocratisation, leur coût a énormément baissé, à une époque où les gros ordinateurs (supercalculateurs) étaient très chers et complexes.

Par conséquent, les chercheurs ont cherché à détourner ces GPU conçu pour le jeu vidéo pour faire d’autres types d’opérations qui leur étaient utiles pour leur recherche. En effet, à performance égale, les GPU avaient (et ont toujours) un coût largement inférieur aux CPU.

À lire aussi : Prix Nobel de chimie 2024 : design des protéines et prédiction de leurs structures, deux facettes d’une même médaille

Un des premiers cas d’utilisation de ces GPU, en 2004, venait de la communauté d’algèbre linéaire, qui utilisait déjà du calcul vectoriel et a pu adapter ses méthodes à ce nouveau matériel. Il faut savoir que l’algèbre linéaire, qui est utilisée pour simplifier la résolution d’équations, est à la base de beaucoup de programmes simulant différents processus réels, depuis le Big Bang jusqu’à la météo ou aux infections de cellules par des virus.

Du jeu vidéo à l’IA

Nvidia a rapidement répondu aux besoins de la communauté académique en 2006. Puis, à partir de 2014, elle a aussi fourni des GPU, pour le développement de systèmes d’IA, notamment par les GAFAM.

Ainsi, après une longue période de réduction de budget pour l’intelligence artificielle, le potentiel de calcul des GPU a permis de rendre exploitables les approches de type apprentissage profond qui étaient bloquées depuis des années, qui se base sur des réseaux de neurones pour répondre à des tâches complexes. Pour implémenter ces approches, il faut pouvoir faire d’énormes quantités de calcul vectoriel sur de grands volumes de données.

Un réseau de neurones tel qu’utilisé par l’IA est une simplification extrême du fonctionnement d’un vrai réseau neuronal, mais il en reprend les grands principes. La représentation mathématique d’un réseau de neurones est faite sous la forme d’opérations sur des matrices et des vecteurs à grandes échelles. Plus le modèle est complexe, plus la taille des données stockées dans de grands tableaux est grande et plus le nombre d’opérations mathématiques est nombreux. C’est grâce à la collaboration entre communautés de l’IA et de l’algèbre linéaire que les capacités de calcul de l’IA ont explosé ces dernières années.

Vers la spécialisation des GPU pour l’IA

Devant l’explosion de l’utilisation dans le domaine de l’intelligence artificielle, les GPU évoluent de plus en plus vers des fonctionnalités spécialisées pour l’IA et moins pour le jeu vidéo. Par exemple, des opérations spéciales ont été introduites pour traiter des matrices et proposer des fonctions de plus haut niveau, comme les « transformers » utilisés dans les grands modèles de langage.

Mais le principal gain de calcul dans l’IA vient de la réduction de la précision des opérations mathématiques. Un ordinateur ne fait jamais un calcul exact sur des nombres à virgule : comme il stocke et calcule sur un nombre de bits prédéfini, avec une précision déterminée, il y a constamment des erreurs d’arrondi plus ou moins visibles et souvent suffisamment faibles pour être négligeables. Devant la quantité de calcul nécessaire au fonctionnement des systèmes d’IA, la précision a été grandement diminuée (par quatre ou plus) pour accélérer les calculs (par quatre ou plus). Les grands réseaux de neurones sont donc peu précis, mais, grâce à leur taille, ils peuvent répondre à des problèmes complexes.

Souveraineté et IA : le prisme des GPU

Derrière l’essor des systèmes d’IA et les GPU, il y a une guerre commerciale entre la Chine et les USA, les USA interdisant l’utilisation de leurs GPU haut de gamme par la Chine. En dehors de Nvidia, seuls AMD et Intel peuvent à la marge concevoir des GPU.

Mais Nvidia ne les produit pas elle-même : une entreprise taïwanaise, TSMC, est la seule à avoir la technologie et les usines pour graver les GPU sur du silicium, au niveau mondial. Pour pouvoir continuer à produire et à vendre des produits venant de sociétés américaines, TSMC s’est engagée à ne pas travailler avec la Chine. Comme Taïwan est par ailleurs menacée d’annexion par la Chine, on peut envisager un risque très important sur l’approvisionnement en GPU dans les années à venir.

Cela met aussi en avant le besoin de développer en Europe une souveraineté sur la conception et la production de processeurs classiques ou de GPU.

L’Union européenne travaille sur cette thématique depuis des années avec un investissement dans le hardware ou matériel ouvert, mais ne peut pas aujourd’hui rivaliser avec les USA ou la Chine. Si des usines de moyenne gamme existent en Allemagne et en France, la présence d’usine de production de processeurs haut de gamme n’est pas prévue.

Au-delà, des problématiques de souveraineté, il est nécessaire de se poser de la question de l’intérêt de consacrer une part de plus en plus importante de la production d’électricité aux technologies numériques. En effet, l’IA consomme énormément d’énergie et son utilisation provoque déjà des problèmes d’approvisionnement en électricité, mais aussi en eau (pour le refroidissement), voire de redémarrage d’usines à charbon, pour répondre aux besoins.

Jonathan Rouzaud-Cornabas a reçu des financements de l'ANR et Inria.