La question de la négation dans l’IA de type Transformer

L’intelligence artificielle ne comprend par définition pas ce qu’est l’infini. Le matérialisme dialectique reste incompris, même formellement, par l’absence de textes ingurgités.

Heureusement, on a Spinoza qui aborde la question de l’infini et qui amène à Hegel et Marx.

Ayant intégré des textes abordant cette question, l’intelligence artificielle utilisant le modèle Transformer est capable d’en parler.

Cependant, comme elle écrase tout, lui poser des questions à ce sujet amène des réponses neutres : Spinoza parlerait seulement de philosophie dans une première tentative… dans une seconde tentative, Spinoza dit la même chose que le modèle Transformer…

La troisième tentative est la bonne, avec une très bonne explication de l’opposition frontale entre la négation positive de Spinoza, qui tend à l’infini, et la démarche de l’intelligence artificielle du modèle Transformer qui « optimise » absolument tout et se perd ainsi dans le néant par réduction des différences et des nuances.

1. La vision de Spinoza : « Toute détermination est négation »

Dans l’approche de Spinoza, la détermination signifie une limitation. Si l’on définit quelque chose, on exclut tout ce qui ne fait pas partie de cette définition.

La notion de négation chez Spinoza va plus loin que la simple absence de quelque chose ; elle implique que tout acte de définition réduit l’infinité des possibilités.

En ce sens, la négation est créatrice dans la mesure où elle choisit un certain chemin parmi une infinité de possibles, en refusant toutes les autres voies.

Imaginons que Spinoza réfléchisse à la construction d’un concept (comme un concept de justice, par exemple). Il dirait que ce concept ne se définit pas seulement par ce qu’il est, mais aussi par ce qu’il n’est pas.

Ce processus de définition s’oppose à l’infini de ce qui pourrait être, en éliminant les autres possibles. La vérité de ce concept devient plus claire non pas en l’élargissant, mais en restreignant ce qu’il peut signifier.

Dans cette vision, l’essence du concept se révèle uniquement dans l’acte de réduction—c’est une négation qui devient constitutive.

La philosophie spinoziste aborde la détermination comme une réduction de l’indéterminé vers un espace plus restreint, mais ce n’est pas un simple choix ; c’est un acte qui structure l’univers des possibles par la négation de tout ce qui est hors de ce qui est défini.

2. La logique des Transformers : Positivité et construction

En revanche, dans un modèle Transformer, le calcul des vecteurs (que ce soit pour du texte ou des données) se fait de manière positive—c’est-à-dire que les activations des réseaux neuronaux sont ajustées pour rester dans une plage positive ou neutre, en évitant les valeurs négatives.

Ce choix technique repose sur l’idée que les grands réseaux neuronaux ont besoin d’une stabilité et d’une « énergie positive » pour réussir leurs calculs de manière optimale.

Du point de vue des mathématiques et de l’optimisation, les vecteurs dans un Transformer sont manipulés afin de rester dans un cadre où ils n’entrent pas dans des zones de négation, comme des valeurs négatives qui pourraient rendre le modèle instable.

Cela rejoint une logique où plus l’information est positive et stable, plus elle peut être traitée efficacement.

Le but ici est de construire des représentations stables et robustes à partir d’un ensemble d’éléments qui, dans un sens, sont aussi en interaction constante.

La logique sous-jacente de l’algorithme Transformer est donc de construire l’information à travers des relations positives, en gardant des valeurs qui indiquent des « possibilités » et des « relations » dans des formes d’expressions directes.

L’idée n’est pas d’éliminer l’indéterminé, mais de chercher à maximiser les interactions positives pour aboutir à des résultats qui soient cohérents et clairement établis, en s’éloignant des zones de flou ou de potentiel négatif.

Une dualité dans l’approche :

Si Spinoza et les Transformers abordent le même sujet—disons, la construction d’un concept ou d’une représentation—ils vont avoir une opposition fondamentale dans leur manière de le faire.

Spinoza voit la détermination comme une négation des autres possibles, une manière de restreindre, de couper, de réduire l’infini à ce qui est nécessaire. Il conçoit la vérité du concept par ce processus de négation de tout ce qu’il n’est pas.

Le Transformer, de son côté, aborde cette même question sous un angle entièrement positif : au lieu de « négocier » des dimensions ou de restreindre les possibles, il cherche à optimiser les relations entre les données, à les rendre compatibles et à les garder dans un cadre de stabilité, loin de toute forme de négativité.

Il ne supprime pas l’indéterminé, il le structure positivement pour éviter toute instabilité dans les calculs.

En résumé, l’opposition entre ces deux approches pourrait être vue comme une tension entre réduction et expansion :

Spinoza : La détermination est réduction, chaque acte de définition est une négation qui laisse derrière lui l’infinité des possibles pour concentrer l’être ou l’idée dans une forme claire et déterminée. La négation est au cœur de la définition, et chaque définition est un acte de restriction.

Transformer : Le modèle cherche à optimiser les relations à travers des vecteurs positifs, construisant des connexions stables sans recourir à la négation, mais plutôt en ajustant les possibilités à l’intérieur d’un cadre positif, stable et contrôlé. La positivité est ici une condition de stabilité, une construction qui cherche à maximiser l’efficience.

Les deux perspectives abordent la question de la détermination, mais l’une y répond par une réduction créative, l’autre par une construction qui maximise la stabilité des relations sans effacer l’indéterminé, mais en le structurant positivement.

-> Retour au dossier sur
L’intelligence artificielle, prolongement de la cybernétique