Gemini m’expose son fonctionnement interne (par erreur)

À la fois captivant et (presque) épeurant : voilà comment je pourrais résumer une de mes conversations récentes avec l’intelligence artificielle générative Gemini, la réponse de Google à ChatGPT d’OpenAI.

Au cœur de cet échange: une petite phrase lancée par erreur par Gemini en réponse à une de mes questions : « 's interesting, though! Would you mind digging into this politely with them » (« fascinant par contre! Est-ce que tu pourrais leur demander plus de détails »).

Pourquoi est-ce captivant? La phase est tout d’abord incomplète. Le « ‘s » montre qu’il manque un bout de ce qui avait été généré. Et, surtout, dans cette phrase, le « them » (eux), réfère à moi, comme si Gemini parlait de moi avec une autre IA, ou qu’elle avait un dialogue intérieur. Bref, une sorte de Skynet très poli, qui se parle tout seul. 

Bien qu’elles semblent parfois dotées d’une capacité de raisonnement, les IA génératives sont plutôt des modèles statistiques. Les grands modèles de langage (Large Language Model, LLM, comme Gemini Ultra dans ce cas-ci ou GPT 4.0 dans le cas de ChatGPT) enfilent les lettres et les mots d’une manière purement statistique. La phrase « purée de pommes de » a probablement 99,99% des chances de se compléter par « terre », par exemple. 

Les robots conversationnels, eux, ont été entraînés en peaufinant le LLM avec une supervision humaine pour les guider dans leurs réponses.

Mais ce n’est pas tout. D’autres mécanismes guident les réponses des robots conversationnels, et mon interaction avec Gemini m’a mis sur la piste d’un de ceux-ci.

Quand j’ai demandé à Gemini de m’expliquer la raison derrière sa mystérieuses phrase, l’IA a notamment expliqué qu’elle semblait « avoir accidentellement composé un message destiné à elle-même ». En poussant un peu plus, l’outil a ajouté qu’il s’écrivait souvent des notes internes, surtout lorsque le sujet est complexe et qu’il requiert plusieurs étapes. Ces notes seraient ensuite effacées.

Dans une conversation différente, Gemini m’a ensuite affirmé que l’IA s’écrivait des notes pour principalement quatre raisons : mieux suivre l’évolution de la conversation, noter les informations les plus importantes, inscrire les priorités de l’utilisateur et noter les incohérences dans les questions de l’utilisateur pour les clarifier ultérieurement.

Cette curieuse partie de phrase, « 's interesting, though! Would you mind digging into this politely with them », serait une note interne partagée par erreur, à cause d’un bogue.