Ces derniers mois, les exemples de robots conversationnels qui ont fourni des fausses informations se sont multipliés. D’abord décrites comme des « hallucinations », ces erreurs révèlent une faille beaucoup plus fondamentale, et qui va concerner tous les détecteurs de rumeurs et de fausses nouvelles de ce monde.
L’origine du problème
Ces exemples de dérapages sont nombreux et variés:
- Le cas le plus célèbre est celui de cet avocat de New York qui, en choisissant de s’en remettre à un robot conversationnel pour sa recherche, a soumis au juge des exemples de jugements qui n’existaient pas. Le juge n’a pas apprécié.
- Un exemple plus pointu est celui de ce chercheur en mathématiques qui a demandé au robot de lui trouver des références relatives à un problème et qui s’est retrouvé avec des références fictives.
- Des chercheurs ont confirmé en mai ce que plusieurs observateurs avaient déjà rapporté: le robot peut, au fil d’une même conversation, se contredire lui-même.
- Au Québec, plusieurs journalistes qui ont testé ces agents conversationnels ont noté des références fictives relatives aux biographies de vedettes.
Depuis le début de l’année, autant les concepteurs du ChatGPT de la compagnie californienne OpenAI que ceux du Bing de Microsoft ou du Bard de Google, ont tous admis que leurs créations avaient cette propension à dire des faussetés. Ou, dans le langage des informaticiens, à « halluciner ».
Et la raison n’est pas du tout mystérieuse: ces robots sont avant toute chose des prédicteurs de mots. Cela signifie qu’à partir de leur immense base de données, ils peuvent prédire en une fraction de seconde la séquence de mots la plus probable. Cela leur permet, dans la plupart des cas, de viser juste, mais ils ne « comprennent » pas ce qu’est une vérité ou une fausseté: ils fonctionnent uniquement en terme de probabilités.
Dans une étude pré-publiée en mars par les chercheurs de Microsoft eux-mêmes —pour accompagner la sortie de la nouvelle version du robot— on pouvait lire que celui-ci avait « de la difficulté à savoir quand il devrait être confiant et quand il devrait juste deviner ». Avec pour résultat qu’il lui arrivait « d’inventer des faits qui ne sont pas dans ses données d’entraînement ».
Autrement dit, il fait, à son insu, de la désinformation. Ce qui peut poser un sérieux problème, si une partie du public se met à utiliser l’outil en accordant une confiance aveugle à ses réponses…
La recherche de solutions
Plusieurs recherches en cours testent différentes approches pour réduire —mais non éliminer— le taux d’erreurs. Dans l’une d’elles par exemple, pré-publiée le 23 mai, des chercheurs du MIT et de Google rapportent avoir expérimenté un « débat » entre deux versions de ChatGPT, dans l’espoir qu’en « comparant » leurs réponses, ils en viennent à diminuer le nombre d’erreurs. Dans un document de travail d’OpenAI publié en mars, on évoquait ce que les informaticiens appellent l’apprentissage par renforcement (reinforcement learning), à partir d’humains qui réagiraient aux réponses données par l’IA.
Certains experts doutent même qu’une solution soit possible. Interrogé par l’émission d’information 60 minutes du réseau CBS en avril, le PDG de Google, Sundar Pichai, déclarait que « personne dans le domaine n’a encore résolu le problème des hallucinations… Qu’il soit même possible de le résoudre, c’est le sujet d’un intense débat. Je pense que nous ferons des progrès. » Interrogé un mois plus tard par le Washington Post, l’expert en IA Geoffrey Hinton, qui a récemment démissionné de Google pour pouvoir, dit-il, parler plus ouvertement de ses inquiétudes à l’égard de cette nouvelle technologie, prédit qu’on « ne se débarrassera jamais » du problème spécifique des « hallucinations ».
Pour Sébastien Gambs, du département d’informatique de l’Université du Québec à Montréal, dont un des champs de recherche est l’éthique de l’IA, la solution n’est en fait pas du côté des informaticiens, mais du côté du politique et de la vulgarisation: il va falloir « sensibiliser les gens au fait qu’un agent conversationnel n’est pas une source d’information fiable et vérifiée ». Et la tâche, admet-il, ne sera pas facile, en raison de « la qualité du texte produit ». Jusqu’à récemment, « on voyait que ce n’était pas un humain qui avait écrit. Aujourd’hui, on n’arrive pas à différencier ». La solution, pour lui, résidera donc dans le développement d’un meilleur esprit critique des gens et leur « sensibilisation à la fausse info ».
Des garde-fous pour agents conversationnels
On pourrait en théorie installer des garde-fous:
- obliger par exemple le robot à fournir des références, ce qui permettrait au moins de juger si la source de son info est crédible;
- ajouter du code informatique qui l’obligerait à insérer dans son texte un avertissement lorsqu’il n’a pas une confiance absolue dans son info —autrement dit, aux références fictives de l’avocat, il aurait ajouté « je ne suis pas sûr de mes exemples »;
- le programmer pour qu’il s’appuie sur plus d’une source lorsqu’il s’agit d’une information nominative (nom, date de naissance, référence juridique ou scientifique, etc.), mais c’est un effort qui aura peu de valeur s’il se contente de deux sources tout aussi peu fiables l’une que l’autre;
- le programmer pour qu’il ne s’appuie que sur des sources fiables, mais cela supposerait une réglementation qui fasse consensus à l’international sur la façon de « catégoriser » les sources en question.
Au final toutefois, aucune de ces actions ne garantirait le résultat, puisqu’en bout de ligne, ces générateurs de textes continueront de prédire ce qui leur semble la séquence de mots la plus probable, sans avoir la capacité de distinguer le vrai du faux.
Et c’est en plus d’un dernier risque, qui était également mentionné par les chercheurs de Microsoft, dans leur prépublication de mars dernier: l’agent conversationnel pourrait fort bien « hériter des biais et des préjugés » qui sont dans ses données. Puisque, dans la masse de savoir qu’il a ramassée, il n’y a pas que des sources fiables…
Verdict
Ce serait une erreur que de croire qu’on peut se fier à ces robots conversationnels pour trouver de l’information factuelle qui a été contre-vérifiée. Il est pour l’instant impossible de prédire si la situation va s’améliorer, mais il est certain qu’une partie indéterminée de la population va croire aux réponses du robot, parce qu’elles sont écrites dans un langage convaincant.
