« Attention is all you need »

Pour tirer à gros traits la situation, on peut dire la chose suivante. Les intelligences artificielles ont été, jusqu’en 2017, des programmes s’appuyant sur les syllogismes pour « lire » des textes et être capable de les enregistrer, pour ensuite être capable de les redire, de les reformuler.

Les intelligences artificielles s’appuyaient sur la grammaire d’une langue, voyaient comment les mots se reliaient entre eux, comment les phrases se construisaient.

Ce processus était lent et laborieux, car il fallait beaucoup de calcul pour gérer toutes les phrases et qui plus est les phrases étaient analysées mot à mot.

Vint alors la crise de 2017. Cette année-là voit en effet la publication d’une courte étude, d’une dizaine de pages, écrite en commun par huit chercheurs de Google.

Elle est intitulée Attention is all you need, soit « L’attention est tout ce dont tu as besoin », ce qui est une allusion à la chanson des Beatles « All you need is love » où il est dit de manière marquée à un moment : « Love is all you need ».

Le principe de l’attention est présenté comme permettant un fonctionnement bien plus efficace : il faut qu’en analysant les choses et en proposant des choses, l’intelligence artificielle accorde plus ou moins d’importance à tel ou tel aspect, c’est-à-dire soit capable de nuances.

Le résultat a été immédiat avec une efficacité bien plus grande ; on peut dire qu’historiquement Attention is all you need a révolutionné les intelligences artificielles, qui ont totalement changé de méthode d’approche, pour suivre le nouveau modèle proposé, dénommé « Transformer ».

Le résultat obtenu a été d’une telle ampleur que cela a abouti à l’irruption de l’intelligence artificielle comme thème dans les médias et les entreprises, avec comme intelligence artificielle la plus connue ChatGPT, présentée en 2022.

À la fin du premier quart du 21e siècle, ces intelligences artificielles sont déjà incontournables pour beaucoup d’activités intellectuelles, en raison de leur dimension extrêmement utiles.

Il y a ici deux aspects : d’un côté, il y a une nouveauté fondamentale, qui est « l’attention » modifiée qui doit régir le robot analyseur et répéteur, qui devient intelligence artificielle.

De l’autre, il y a qu’une intelligence artificielle est en fait la superstructure d’internet et de son immense accumulation de données, et rien d’autre.

Là est la limite.

-> Retour au dossier sur
L’intelligence artificielle, prolongement de la cybernétique