Ceux qui affirment qu’avec le temps, ChatGPT et ses semblables vont écrire moins de faussetés, ont intérêt à s’armer de patience : les plus récents tests révèlent qu’avec deux méthodes « d’apprentissage » différentes, ces « agents conversationnels » commettent encore plus d’erreurs qu’avant, lorsqu’on leur pose des questions simples.
Les deux méthodes en question sont, dans l’univers des développeurs de l’IA, « d’entraîner » ces « robots » avec davantage de données et davantage de puissance de calcul, ou bien de les amener à « s’ajuster » (fine-tuning) en réponse à des rétroactions humaines.
Or, une équipe de l’Université polytechnique de Valence, en Espagne, a testé les deux méthodes sur ChatGPT de la compagnie OpenAI, LLaMA de la compagnie Meta, et BLOOM, de la compagnie BigScience. Résultat: ces « larges modèles de langage », comme on les appelle, deviennent meilleurs lorsqu’il s’agit de répondre à des questions compliquées, comme de résoudre un long anagramme. Mais ils sont moins bons devant des questions aussi simples qu’une addition.
L’étude est parue le 25 septembre dans la revue Nature, sous le titre limpide Larger and more instructable language models become less reliable.
La conséquence, c’est qu’avec l’une ou l’autre des deux méthodes d’apprentissage, la « capacité » de ces robots à dire des faussetés, s’accroît. Et il va sans dire que les machines ne s’en rendent pas compte, la preuve étant qu’elles ne sont pas à même d’éviter de répondre à une question lorsqu’elles ignorent la réponse. Elles ne sont pas non plus capables d’envoyer à l’humain qui leur a posé une question un avertissement tel que « attention, il est possible que je me sois fourvoyé ».
Autrement dit, l’humilité ne fait pas partie de leur programmation.
C’est ce même constat qui avait conduit plus tôt cette année un trio de chercheurs en philosophie et en sciences sociales à proposer le terme « bullshit » (connerie, foutaise ou sottise) pour désigner la propension de ces IA à dire n’importe quoi (des développeurs de l’IA emploient plutôt le terme « hallucinations », qui est critiqué parce qu’il a trop tendance à « humaniser » la machine).
L’humain serait donc bien avisé, préviennent les chercheurs espagnols, de ne pas accorder sa confiance aux réponses de l’IA, aussi impressionnantes soient-elles. Dans l’immédiat, l’IA semble vouée à continuer de pondre des faussetés, et les experts n’ont pas de solution en vue.
