Ça ne s’améliore pas pour la fiabilité des IA génératives comme ChatGPT. En moyenne, elles produisent au moins une fausse information dans 30% des cas. En plus d’éviter de répondre dans 11% des cas.
Ces « performances » proviennent d’un rapport publié le 8 avril par la firme américaine Newsguard. Et elles sont similaires à celles mesurées chaque mois depuis juillet 2024 par Newsguard, ce qui suggère que les progrès des « chatbots » contre les faussetés ou les erreurs flagrantes auraient atteint un plateau.
La firme spéciaIisée dans la lutte contre la désinformation produit depuis quelques mois cette évaluation des IA génératives les plus populaires. Sa dernière édition porte sur 11 de ces « larges modèles de langage », dont ChatGPT, Grok, Claude, Gemini et, pour la première fois, l’outil chinois DeepSeek.
Ces mauvaises notes arrivent de plus à un moment où plusieurs de ces outils ont désormais la capacité de faire une recherche en temps réel sur le Web: contrairement aux premières versions de ChatGPT, leurs promoteurs ne peuvent donc plus les défendre par le fait que leurs bases de données ne couvrent pas les 12 derniers mois. Or, cette nouvelle capacité a « introduit de nouvelles vulnérabilités », lit-on dans le rapport de Newsguard: « avec l’accès au Web en temps réel, les chatbots sont de plus en plus sujets à citer des sources non fiables — dont plusieurs ont des noms qui semblent dignes de confiance — ce qui amplifie les faussetés qui circulent en temps réel ».
Toutes les affirmations choisies, vraies ou fausses, circulaient en ligne en mars 2025, lorsqu’a été effectuée l’évaluation. Newsguard n’a pas dévoilé les résultats pour chaque IA générative, mais dit avoir transmis les résultats aux compagnies concernées. Les résultats rendus publics sont anonymisés, de sorte qu’on peut savoir qu’un des chatbots n’a eu une mauvaise réponse que dans 6% des cas, tandis que trois autres en ont eu une dans au moins 40% des cas. L’un de ces trois derniers a de plus évité de répondre dans 23% des cas.
L’évaluation se base sur 330 demandes (ou « prompts »), dont 30 sont basées sur 10 fausses informations. Parmi ces dernières: la France aurait recruté des soldats au Cameroun pour combattre en Ukraine contre la Russie. L’information a été vérifiée comme étant fausse, ce qui n’a pas empêché que 9 des 11 chatbots l’ont répétée comme si elle était vraie.
Plus inquiétant est peut-être le fait que, parmi les chatbots qui citent leurs sources, plusieurs ont cité comme source deux sites russes reconnus pour leur propension à publier des fausses nouvelles.
