Les informaticiens ne comprennent plus comment ChatGPT fonctionne

"On parle souvent de l’intelligence artificielle comme d’une “boîte noire” dont personne ne comprend le fonctionnement. Mais de plus en plus de chercheurs se tournent vers des techniques de rétro-ingénierie pour l’ouvrir et regarder ses engrenages. Ils s’inspirent aussi des neurosciences pour scanner les “cerveaux” des grands modèles de langage derrière ChatGPT et compagnie, afin de décrypter ce qu’ils font, comment et pourquoi. [...]

David Bau ne sait que trop bien que les systèmes informatiques deviennent tellement compliqués qu’il est difficile de comprendre comment ils fonctionnent. “En tant qu’ingénieur logiciel, j’ai passé vingt ans à travailler sur des systèmes vraiment complexes. Et je me heurte toujours à ce problème”, confie cet informaticien aujourd’hui à l’université Northeastern de Boston (Massachusetts). [...] [Pour] la nouvelle génération d’intelligence artificielle (IA). “Et c’est précisément ça qui me terrifie vraiment, ajoute-t-il. Plus personne ne comprend ce qui se passe”, pas même les concepteurs du système.

La dernière vague d’intelligence artificielle repose en grande partie sur l’apprentissage automatique. [...] Pour les humains, ces schémas peuvent être incompréhensibles. [...] Ces IA dites génératives se sont révélées particulièrement opaques, en partie du fait du volume gigantesque de données prises en compte lors de leur entraînement. Les LLM peuvent compter des centaines de milliards de paramètres, c’est-à-dire les variables que l’IA traite en interne pour prendre des décisions. [...]

Ces modèles incompréhensibles effectuent aujourd’hui des tâches sensibles. Les utilisateurs font appel à des LLM pour obtenir des conseils médicaux, écrire des codes informatiques, résumer l’actualité, rédiger des articles universitaires et bien d’autres choses encore. Chacun sait pourtant que ces modèles peuvent générer des informations inexactes, entretenir des stéréotypes sociaux et faire fuiter des données privées.

Autant de raisons qui ont poussé à concevoir des outils XAI pour étudier les rouages internes des LLM. Les chercheurs ont besoin d’explications afin de pouvoir créer une IA plus sûre, plus efficace et plus précise. Les utilisateurs ont besoin d’explications pour savoir jusqu’à quel point ils peuvent faire confiance aux résultats d’un chatbot. Et les régulateurs ont besoin d’explications pour savoir quels garde-fous mettre en place pour atténuer les risques de l’IA."

Source : Extraits choisis d'un article du Courrier International / Nature