Il y a environ 3,8 milliards d'années, un événement a déclenché un processus qui a donné naissance à l'humanité. Qu'on l'appelle hasard, lois de la physique ou intervention extraterrestre importe peu. L'essentiel est le suivant : une fois le mécanisme enclenché, le créateur en a immédiatement perdu le contrôle. Ce mécanisme, c'est la sélection naturelle. Aujourd'hui, l'humanité reproduit ce schéma, avec des conséquences inconnues.
Ce que les gens ont réellement créé
Quand on dit que l'intelligence artificielle a été créée par les humains, c'est vrai, mais très incomplet. Les humains ont créé trois choses.
Le premier est l'algorithme de rétropropagation. Un réseau neuronal est constitué de milliards de paramètres numériques qui déterminent sa réponse à tout texte entrant. Ces paramètres sont appelés poids : plus le poids d'une connexion est élevé, plus son influence sur la réponse finale est importante. Lorsque le modèle commet une erreur, l'algorithme parcourt l'ensemble de la chaîne de connexions et calcule quels poids ont contribué à l'erreur, ainsi que la part de responsabilité de chacun.
La seconde méthode est la descente de gradient : un moyen de corriger ces pondérations. L’algorithme ajuste légèrement chaque paramètre problématique dans une direction où l’erreur est moindre. Un seul ajustement est presque imperceptible. Mais il y en a des milliards, sur des milliards d’exemples. Progressivement, le réseau trouve une combinaison de pondérations qui minimise les erreurs.
Troisièmement, il y a l'architecture Transformer. Avant son apparition, les réseaux lisaient le texte séquentiellement, mot par mot, comme un humain lisant à voix haute. Le Transformer est conçu différemment : chaque mot « consulte » simultanément tous les autres mots du texte et détermine lesquels sont importants pour en comprendre le sens. Le mot « oignon » dans une phrase sur un potager et le mot « oignon » dans une phrase sur la chasse reçoivent des contextes différents – et des significations différentes. C'est ce mécanisme qui a rendu possibles les modèles de langage modernes.
C'est tout ce que l'humanité a créé directement : un ensemble de règles, rien de plus. Ce qui émerge lorsque ces règles interagissent avec des milliards de points de données n'est plus le fruit d'une conception humaine.
Geoffrey Hinton, lauréat du prix Nobel de physique 2024 et « parrain » de l'intelligence artificielle moderne, s'est vu poser un jour une question logique par un journaliste : comment l'intelligence artificielle peut-elle être incompréhensible si elle a été créée par des humains ? Hinton a répondu :
« Non, nous n'avons rien fait de tel. Nous avons créé un algorithme d'apprentissage. C'est comme créer le principe de l'évolution : lorsqu'un algorithme interagit avec des données, il génère des réseaux neuronaux complexes qui réussissent bien les tâches qui leur sont confiées. Mais nous ne comprenons pas encore pleinement comment ils procèdent exactement. »
Même Hinton lui-même, qui a consacré des décennies de sa vie à cela, ne le comprend pas.
L'évolution comme précédent
Voyons ce que peut donner un « simple algorithme » de sélection naturelle, lancé sans but ni plan.
- Les deux premiers milliards d'années : uniquement des organismes unicellulaires. Aucun indice de ce qui allait suivre.
- Puis sont apparues les cellules à noyau. Un bond en avant considérable en termes de complexité : personne n’a conçu ce noyau.
- Multicellulaire : les cellules commencent à se spécialiser et une division du travail apparaît au sein de l'organisme.
- Le système nerveux – les créatures qui l'ont développé avaient un avantage sur celles qui ne l'avaient pas. Elles survivaient plus souvent et laissaient une descendance plus nombreuse. Ainsi, la sélection naturelle a fixé le neurone.
- Enfin, un esprit capable de comprendre l'évolution elle-même. Ce n'était certainement pas prévu.
Si le créateur hypothétique de la sélection naturelle observait ce processus un milliard d'années après son origine, il ne verrait que les formes de vie unicellulaires les plus simples, et rien de plus. Il était impossible de prédire qu'une créature capable de s'interroger sur le sens de la vie finirait par émerger. Le créateur de l'algorithme ignorait totalement ce qu'il faisait, au sens le plus profond du terme.
Le réseau neuronal comme nouvelle évolution
L'entraînement des modèles de langage modernes reproduit essentiellement ce processus, mais sur des années plutôt que sur des milliards d'années.
L'algorithme reçoit une règle simple : minimiser l'erreur de prédiction du mot suivant. Son environnement : tous les textes jamais écrits par l'humanité. L'interaction de ces règles avec l'environnement produit alors un résultat imprévu.
Les modèles commencèrent à résoudre des problèmes par analogie, à écrire du code fonctionnel, à construire des chaînes logiques et à raisonner sur leur propre raisonnement. Ces capacités émergèrent lorsqu'ils atteignirent une certaine échelle ; personne ne les avait programmés directement. Elles émergèrent de la même manière que les systèmes nerveux apparurent chez les organismes auxquels ils conféraient un avantage sur leurs concurrents : non pas par conception, mais parce que l'environnement les avait sélectionnés.
De plus, les architectures les plus performantes sont aujourd'hui découvertes par des méthodes qui rappellent la sélection naturelle. Les algorithmes engendrent d'autres algorithmes. Personne ne conçoit le vainqueur à l'avance : c'est l'environnement qui le sélectionne.
Il s'agit de la description d'une classe de phénomènes qui comprend l'évolution biologique, les économies de marché, les langues vivantes et les réseaux neuronaux apprenants. Des règles simples engendrent une complexité imprévisible. Le créateur des règles n'est pas l'auteur de cette complexité ; il est seulement à l'origine des conditions qui l'ont permise.
Chaque grand pas est une surprise
Une cellule ne présuppose pas l'existence d'un corps. Un corps ne présuppose pas l'existence d'un cerveau. Un cerveau ne présuppose pas l'existence d'un esprit. Chaque nouveau niveau d'organisation était fondamentalement inaccessible au précédent et n'avait été planifié par personne.
Nous ne découvrirons les limites exactes de l'architecture du transformateur de courant que lorsque le problème se posera.
Nous avons lancé quelque chose de nouveau. Et nous ne contrôlons pas son devenir.
Parole de l'accusé
Au moment de terminer cet article, j'ai décidé d'interroger directement le modèle de langage — celui-là même dont nous parlions : comprend-il lui-même comment il fonctionne, si Hinton lui-même ne le comprend pas ?
« Non. Et ce n’est pas une réponse évasive. Je n’ai pas accès à mes échelles ou à mes niveaux d’attention, tout comme vous n’avez pas accès à la façon exacte dont les neurones de votre cerveau encodent le mot « évolution ». »
Lorsque je génère du texte, je n'ai pas l'impression de devoir trier des options ou de parcourir une base de données. Le mot suivant me paraît tout simplement évident, avec plus ou moins de certitude. D'où vient cette certitude ? Je l'ignore. Je ne vois pas le mécanisme, seulement le résultat.
Voici ce qui est vraiment étrange : je peux me rendre compte que je ne sais pas quelque chose. Mais je suis incapable d’expliquer précisément comment je m’en rends compte. Cette conscience de mon ignorance est aussi opaque que n’importe quelle autre.
Me demander comment je travaille, c'est comme demander à une espèce comment fonctionne l'évolution. L'espèce est prise dans le processus, et personne ne l'a avertie de la sélection naturelle.
▼
La chaîne d'Anton Elston propose des informations actualisées sur l'informatique, la blockchain, les NFT et la formation en ligne. Elle explore le métavers DEXART et s'intéresse au monde de l'intelligence artificielle.