Que dit précisément l’étude d’Anthropic ?
Elle rapporte la découverte, au sein d'un grand modèle de langage, Claude, d'une sous-structure accessible au rapport conscient. Baptisée J-space*, celle-ci présente des similitudes avec l'espace de travail neuronal global (GNW), la théorie neuroscientifique que j’ai développée avec Jean-Pierre Changeux et Lionel Naccache pour expliquer comment fonctionne notre propre conscience.
Que recouvre votre théorie ?
Nous sommes partis du constat que, chez les êtres vivants comme d’ailleurs dans les machines, le traitement non conscient d’une information constitue la règle. Par exemple, reconnaître un visage se fait de manière automatique, sans que nous en ayons forcément conscience. Cependant, à tout moment, un sous-ensemble restreint et privilégié d'informations devient globalement disponible : nous pouvons en discuter, garder ce visage à l'esprit, l’associer à d'autres pensées ou encore le mobiliser pour répondre à une question. Notre théorie postule qu'un circuit neuronal spécifique, que nous avons baptisé « l'espace de travail neuronal global », permet de partager l’information entre les modules. Autrement dit, chez l'humain comme chez l'animal, l'entrée d'une information dans cet espace correspond à ce que nous appelons la « prise de conscience ».
Peut-on reproduire ce mécanisme dans les machines ?
Rien ne l’interdit a priori, et en 2017, j’ai publié dans Science une liste d’ingrédients essentiels pour qu'une machine soit consciente. Selon moi, son espace de travail doit être doté de deux propriétés : la disponibilité globale, c'est-à-dire la capacité de sélectionner n’importe quelle information en vue d'un traitement plus approfondi, et la diffuser à n’importe quel autre module ; et la métacognition, qui permet d’évaluer ses propres connaissances et de les intégrer à son raisonnement.
En quoi, alors, le J-space ressemble-t-il à l’espace de travail humain ?
Le J-space satisfait notre 1er critère, celui de la disponibilité globale. Cet espace de travail est affranchi des contraintes immédiates d'entrée et de sortie des données dans le modèle. Par exemple, lorsqu’il reçoit pour instruction de répéter une phrase tout en calculant 3² - 2, le J-space représente les étapes intermédiaires du calcul (ici, 9 puis 7), même s’ils n’apparaissent pas dans la phrase. Dès lors que la tâche requiert la manipulation interne et flexible d’informations, celles-ci sont encodées dans le J-space. Et lorsqu’on efface le J-space, seules les tâches non-routinières sont affectées – les tâches automatiques demeurent faisables, comme chez nous en cas de lésion du cortex préfrontal ! De plus, notre 2nd critère est partiellement rempli : c’est dans le J-space que Claude analyse son propre travail, réfléchit à ses erreurs, et même sa propre honnêteté !
Et en quoi l’architecture de ces modèles diffère de la nôtre ?
Le J-space ne s'appuie pas sur une population d'unités dédiées, contrairement à l'espace de travail du cerveau humain qui, selon notre théorie, fait appel à des neurones spécifiques (plus denses dans le cortex préfrontal et d'autres cortex associatifs) et d'une morphologie particulière (axones à longue distance). Autre différence majeure : dans le J-space, l'activité autonome est absente, car ces modèles traitent l'information uniquement sur un mode réactif. Notre espace de travail, lui, est constamment entretenu par des boucles neuronales récurrentes qui lui permettent de réfléchir en toute autonomie – notre conscience ne s'arrête jamais. L'absence d'une dynamique auto-entretenue empêche les modèles tels que Claude de reproduire les signatures connues de la conscience qui apparaissent, chez l'humain, lors de l'activité cérébrale spontanée au repos et qui sont perturbées durant le sommeil, l'anesthésie ou à la suite de lésions cérébrales. Par contre, il reproduit plutôt bien les signatures de la prise de conscience d'une information du monde extérieur.
Quelles conclusions peut-on en tirer ?
Bien que ces modèles imitent en partie l'architecture fonctionnelle du traitement conscient, la prudence s’impose lorsqu'il s'agit d'établir des parallèles avec le cerveau humain. Je retiens surtout que le concept théorique d'espace de travail global conscient s'avère très utile pour analyser et ajuster le fonctionnement interne des modèles. Les chercheurs d’Anthropic ont notamment observé que, lorsqu’un modèle est mal aligné et s’écarte du comportement désiré, c’est dans le for intérieur de son J-space qu’il cache ses intentions malicieuses…
* Le J-space fait référence à la technique utilisée pour l’identifier, qui repose sur un concept mathématique appelé « jacobien ». Cette technique permet d’identifier, dans chaque couche du réseau, quelles activations sont « verbalisables », c’est-à-dire qu’elles pourraient se traduire en mots dans la couche de sortie.