La mise en ligne de l’outil de conversation ChatGPT, basé sur l’intelligence artificielle (IA), a eu l’effet d’un pavé dans la mare, avec sa capacité de produire du texte et des échanges similaires à ceux d’un être humain. Malgré tout, plusieurs indices permettent de distinguer les robots conversationnels d’une vraie personne, selon une nouvelle étude publiée dans Cell Reports Physical Science.
En fonction de ces indices, les chercheurs ont mis au point un outil permettant d’identifier les publications scientifiques générées par l’IA avec un taux de succès de plus de 99 %.
« Nous avons travaillé d’arrache-pied pour créer une méthode facile d’accès pour qu’avec un minimum d’encadrement, même les élèves du secondaire puissent construire un détecteur d’IA pour divers types de textes », mentionne la principale autrice de l’étude, Heather Desaire, professeure à l’Université du Kansas. « Il faut se pencher sur les textes produits par l’IA, et la population n’a pas besoin d’un diplôme en science informatique pour contribuer à ce domaine. »
« En ce moment, il existe plusieurs problèmes importants en ce qui concerne les écrits produits par l’IA », a poursuivi Mme Desaire. « L’un des principaux problèmes est le fait que la machine assemble des écrits à partir de plusieurs sources, et il n’y a pas de vérification de l’authenticité des contenus – c’est un peu un genre de deux mensonges et une vérité. »
Bien qu’il existe plusieurs détecteurs d’IA en ligne, et que ceux-ci sont assez efficaces, ils n’ont pas été spécifiquement conçus pour les documents scientifiques et académiques.
Pour combler ce vide, l’équipe de recherche a cherché à développer un outil plus efficace conçu précisément à cette fin. Les scientifiques se sont concentrés sur un type d’article appelé « perspectives », qui offre un aperçu de certains sujets de recherche. L’équipe a sélectionné 64 de ces articles et créé 128 articles à l’aide de ChatGPT sur les mêmes sujets, histoire d’« entraîner » l’ordinateur. Lorsqu’ils ont comparé les articles, les chercheurs ont découvert un indicateur de l’écriture par l’IA: la prévisibilité.
Contrairement à l’IA, les humains ont recours à des structures plus complexes pour leurs paragraphes, en faisant varier le nombre de phrases et le total de mots dans chaque paragraphe. Les préférences en matière de signes de ponctuation et de vocabulaire sont aussi un signe important.
Par exemple, les scientifiques tendent à utiliser plus fréquemment des mots comme « cependant », « mais » et « bien que », tandis que ChatGPT a souvent recours à « autres » et « chercheurs » dans son écriture.
L’équipe a ainsi identifié 20 caractéristiques permettant à leur outil de détecter l’écriture d’une intelligence artificielle.
Lors de tests, le modèle de détection a obtenu un taux de réussite de 100 % pour différencier les articles de perspectives écrits par l’IA et ceux rédigés par les humains. Lorsqu’est venu le temps d’identifier des paragraphes individuels se trouvant dans un article, l’outil s’est avéré efficace à 92 %. Le modèle de l’équipe de recherche a aussi été plus efficace qu’un modèle de détection de texte écrit par l’IA disponible sur le marché.
Pour la suite des choses, l’équipe de recherche veut déterminer le nombre de situations où son modèle peut s’avérer utile, notamment en le testant avec davantage de textes et divers types de publications scientifiques. À mesure que les robots conversationnels progressent et deviennent de plus en plus sophistiqués, les chercheurs veulent aussi savoir si leur modèle de détection tient la route.
« La première chose que les gens veulent savoir, lorsqu’ils entendent parler de ces travaux de recherche, est « est-ce que je peux utiliser cela pour déterminer si mes étudiants ont véritablement écrit leur travail? » », souligne Mme Desaire.
Si le modèle est très efficace lorsque vient le temps de faire la distinction entre un texte écrit par l’IA et un autre écrit par un chercheur, Mme Desaire précise que l’outil n’a pas été conçu pour identifier les textes générés par l’IA à des fins scolaires. La chercheuse note cependant que le public peut aisément répliquer leurs méthodes pour développer des modèles qui correspondent à leurs propres objectifs.
