L’étape qui suit l’embedding est ce qu’on appelle l’attention ; c’est là où on retrouve le document Attention is all you need puisque le titre insiste dessus, affirmant que c’est cela qui révolutionne l’intelligence artificielle.
Mais bien pour comprendre cette nouvelle étape, il faut saisir la portée de l’embedding, car le mécanisme d’attention qui le suit s’en veut l’inverse.
Les vecteurs de l’embedding considèrent en effet chaque mot en général. Plus simplement dit : le même mot est évalué pareillement tout le temps, quelle que soit la phrase étudiée.
Par contre, le mécanisme de « l’attention » prend chaque mot en rapport avec les autres mots de la phrase, et ceux des autres phrases s’il y en a.
L’attention porte alors désormais sur chaque mot en particulier et non plus en général.
En apparence, cela sonne juste, mais c’est trompeur. Pourquoi ?
Voici le problème. Le matérialisme dialectique souligne la dignité du réel ; il faut partir du particulier pour aller au général, car le général est présent dans le particulier.
L’intelligence artificielle du modèle Transformer fait le contraire. Elle idéalise, rend abstrait un mot avec des vecteurs ; le mot « flotte » au-dessus du réel, il est statique.
On notera d’ailleurs qu’on parle d’un mot, mais on peut remplacer par n’importe quelle donnée, tels des sons, des images, des chiffres, etc. Dans tous les cas, il y a une évaluation statistique où l’on trouve des « éléments » uniques de valeur « éternelle ».
C’est très exactement la vision de l’idéaliste Platon contre le matérialiste Aristote, où il y aurait des « briques » constitutifs des choses. L’intelligence artificielle part du même principe qu’il y a un tout composé d’éléments séparés, bien distincts.
L’intelligence artificielle procède comme si le monde était composés de briques de Lego, ou bien de gros pixels volumineux comme dans le monde du jeu Minecraft.
Il y aurait des briques, des éléments uniques, à la base duquel les choses se constituent après.
C’est contre cette conception que Mao Zedong a lancé le combat pendant la révolution culturelle en Chine dans la seconde moitié du 20e siècle pour affirmer que « rien n’est indivisible », qu’il ne saurait exister de « briques » uniques comme point de départ, alors qu’en réalité tout est en interrelation dans un univers infini et éternel.
Mais ce n’est pas tout, cela va bien plus loin.
Dans la conception idéaliste, les briques sont statiques, elles ont un seul principe, elles sont ce qu’elles sont et rien d’autre.
Pour Platon, il y a une seule « idée » pour la table, une autre pour la main, une autre encore pour l’épée, etc.
Ce n’est pas la conception de l’intelligence artificielle, qui dit que les briques constitutives des choses sont en mouvement, en activité. Autrement dit : les mots peuvent avoir plusieurs sens, des interactions différentes, des significations différentes…
Exactement comme un individu peut être fonctionnaire de police et saxophoniste, traverser la rue et manger des crêpes.
Ce qui fait que la vision du monde de l’intelligence artificielle est en fait celle de l’anarcho-capitalisme, des libertariens.
Les mots sont les vraies choses, qui existent indépendamment du reste, et d’ailleurs des uns des autres.
C’est seulement lors d’un éventuel rapport qu’on peut prendre en considération une forme supérieure comme la phrase.
Il n’y a pas de phrase, il y a des mots, qui s’avèrent être des phrases, tout comme pour les libertariens, il n’y a pas de société, mais des individus qui s’avèrent avoir des rapports sociaux.
La démarche est anti-synthèse, elle nie la fusion, l’imbrication dans des ensembles supérieurs. Elle est littéralement ultra-individualiste.
Voici quelques citations exemplaires d’auteurs relevant de l’approche libertarienne ; le rapport avec la vision du monde du modèle Transformer est évidente.
Murray Rothbard (1926-1995) :
« Seuls les individus existent, choisissent et agissent. « La société » n’est qu’une abstraction, qui n’a pas d’existence indépendante des individus qui la composent. » (L’homme, l’économie et l’Etat, 1962)
Ayn Rand (1905-1982) :
« Une société n’a pas d’existence propre en dehors des individus qui la composent. Seuls les individus peuvent penser, agir, produire et créer. » (La Vertu d’égoïsme, 1964)
Robert Nozick (1938-2002) :
« La société n’a pas pour rôle de donner un but à l’individu ; elle doit seulement fournir un cadre où chaque individu peut poursuivre ses propres fins. » (Anarchie, État et Utopie, 1974)
Ludwig von Mises (1881-1973) :
« La société est l’aboutissement de l’action humaine, non d’un dessein humain.
L’individu ne peut prospérer que dans une société libre où il interagit pacifiquement avec les autres. » (L’Action humaine, 1949)
Margaret Thatcher (1925-2013) :
« Et donc, ces personnes en viennent à reporter leurs problèmes sur la société. Mais la société, c’est qui ? Ça n’existe pas ! Il y a des hommes et des femmes, il y a des familles, et aucun gouvernement ne peut faire quoi que ce soit, si ce n’est à travers les gens. »
Friedrich Hayek (1899-1992) :
« L’idée que la société dans son ensemble puisse être dirigée selon un plan, de la même manière qu’une entreprise, est l’une des plus grandes illusions de notre époque. » (Droit, législation et liberté, 1973-1979)
On a ici précisément l’approche du mécanisme d’attention du modèle Transformer : les mots sont ce qu’ils sont, les phrases sont des points de contact de mots et rien de plus.
Et on peut aisément le prouver, puisque le modèle Transformer, dans les autres étapes d’analyse de texte, fait absolument tout justement pour éviter la phrase comme organisme complexe, comme synthèse. Tout est fait, de manière obsessionnelle, pour en rester au mot.
-> Retour au dossier sur
L’intelligence artificielle, prolongement de la cybernétique