Comment fonctionnent les détecteurs de texte rédigé par l'IA et sont-ils fiables ?

L'émergence de ChatGPT a entraîné le développement d'un tout nouvel nouvel écosystème de produits et de services construits autour de la génération de textes par l'IA. En parallèle, de nombreux détecteurs de contenu rédigé par l'IA sont apparus pour faire contrepoids, en promettant une grande fiabilité.

Ces outils peuvent-ils vraiment faire la différence entre un contenu écrit par un humain et un contenu généré par l'IA ? Si oui, quelle méthode utilisent-ils ? Que faut-il savoir sur ces nouveaux outils logiciels ? Valent-ils la peine d'être utilisés ? Réponse à ces questions ci-dessous.

Comment fonctionnent les détecteurs de texte généré par l'IA ?

Les détecteurs de textes généré par l'IA fonctionnent à peu près de la même manière que les générateurs de textes par IA : en se basant sur des probabilités.

Les générateurs de texte alimentés par l'IA complètent les phrases en fonction du résultat le plus probable. Voici trois exemples :

• "Un petit pas pour l'homme, un grand pas pour ____" - L'IA compléterait probablement par "l'humanité".
• "L'amour de l'argent est la racine de tout ____" - La bible et d'innombrables autres publications sur lesquelles l'IA a été formée indiqueraient que "les maux" est la bonne réponse.
• "Je vais lui faire une offre qu'il ne pourra pas ____" - Si vous avez vu le film "Le Parrain", vous savez que la bonne réponse est "refuser". C'est la réponse la plus logique, et c'est ce que l'IA choisirait.

Là où les choses se compliquent, c'est que les détecteurs d'intelligence artificielle utilisent ces mêmes probabilités. Si vous utilisez le mot le plus probable dans votre phrase, il est possible que celle-ci se retrouve étiquetée comme étant générée par l'IA. C'est un vrai problème, car il ne devrait pas être nécessaire de changer le sens d'une phrase juste pour éviter qu'elle soit signalée comme étant générée par l'IA.

Les détecteurs de texte généré par l'IA prennent également en compte deux facteurs lorsqu'ils évaluent un texte : la perplexité et la "burstiness" (qu'on pourrait traduire par "éclatement").

Perplexité

Il s'agit de l'imprévisibilité du texte. Si le détecteur est "surpris" par un choix de mots, il sera plus susceptible de penser que ceux-ci ont été écrits par un humain. On apprend aux modèles de langage de l'IA à produire des textes à faible perplexité. Les mots utilisés sont ceux auxquels on s'attend, mais cela les rend aussi plus prévisibles.

Cela signifie qu'une phrase "normale" pouvant être comprise par n'importe quel public a plus de chances d'être signalée. Pour échapper aux accusations de non-perplexité, il faudrait écrire une phrase avec une perplexité élevée, comme par exemple : "Le félin loquace s'est perché au sommet du mobilier en peluche et en velours, son visage dégageant un air de contentement insouciant."

Pas super.

Les détecteurs de texte généré par l'IA partent également du principe que l'écriture humaine utilise des choix linguistiques plus créatifs mais commet également plus de fautes de frappe. Mais qu'en est-il de Grammarly ? Nombreux sont ceux à faire appel à ce type de logiciel pour corriger leurs erreurs.

Les entreprises à l'origine des détecteurs de texte généré par l'IA ont admis qu'il arrive parfois que certains textes soient signalés comme "inhumain" juste parce qu'ils sont grammaticalement corrects - en particulier lorsqu'ils sont corrigés à l'aide d'un outil comme Grammarly. La logique étant la suivante : puisque le texte a été édité avec un outil alimenté par l'IA, il se rapproche plus d'un texte "inhumain" - alors même qu'il n'a pas été généré par l'IA.

"Burstiness"

La "burstiness" fait référence à la variation du nombre de mots utilisés et à la structure des phrases dans le texte. Le contenu généré par l'IA a un niveau de "burstiness" inférieur à celui de l'écriture humaine. C'est pourquoi les textes contenant à la fois des phrases très courtes et des phrases très longues sont plus susceptibles d'être considérés comme écrits par des humains par les détecteurs.

Mais les phrases longues et compliquées ne sont pas recommandées pour les contenus destinés à être lus par un large public... Ce qui soulève une question intéressantes : les détecteurs de contenu généré par l'IA sont-ils programmés pour identifier comme "humains" des éléments qui vont simplement à l'encontre des bonnes pratiques d'écriture ?

Les détecteurs de texte rédigé par l'IA sont-ils fiables ?

En un mot : non. Ils manquent de précision. Certains considèrent que ces détecteurs de texte généré par l'IA nous vendent une illusion: l'illusion d'avoir le contrôle sur l'IA, sans aucune preuve concrète que le logiciel fonctionne de manière fiable.

Pour démontrer l'inefficacité de ces outils, un utilisateur a fait passer la Constitution américaine et la Genèse par un détecteur de texte écrit par l'IA, et le texte a été signalé comme étant généré par l'IA. Pourtant, en 1787, il n'y avait pas de "robot écrivain" pour aider à rédiger la Constitution...

Feriez-vous confiance à un outil qui commet ce type d'erreurs ?

Déclaration d'OpenAI

Si vous n'êtes toujours pas convaincu, peut-être vous laisserez-vous convaincre par les pionniers de l'IA générative : OpenAI, soit l'entreprise qui a développé ChatGPT. OpenAI, qui avait développé son propre propre détecteur d'IA, a rapidement mis fin au projet.

Dans une déclaration publiée à l'intention des enseignants qui utilisent ces outils pour vérifier la véracité des travaux de leurs élèves, OpenAI a admis que les détecteurs d'IA ne fonctionnent tout simplement pas.

Les problèmes liés à certaines industries

Il est important de noter que certaines industries utilisent un registre de langue plus soutenu que d'autres, ainsi qu'un ton plus formel et sérieux. Si vous écrivez un texte technique, vous ne vous soucierez pas de la "perplexité" ou de la "burstiness", mais simplement de l'exactitude des faits décrits.

De même, les fautes de frappe sont inacceptables dans les travaux universitaires : toutes ces erreurs sont donc supprimées et l'auteur ne prend en général aucune liberté, en suivant à la lettre les règles de grammaire. Ces travaux universitaires sont donc plus susceptibles d'être signalés comme générés par l'IA.

Les fausses déclarations d'Originality AI

Certaines entreprises, comme Originality AI, ont fait des déclarations que beaucoup considèrent erronées ou même mensongères.

Dans le cas d'Originality AI, leur approche est basée sur l'utilisation de statistiques pour prouver la fiabilité d'un texte. Plus précisément, ils utilisent des pourcentages pour représenter les "faux positifs" et les détections réussies de l'IA. Ces chiffres semblent être tirés de nulle part, avec de très petits échantillons de données (données exclusivement détenues et contrôlées par l'entreprise).

Lorsque le modèle 2.0 de leur logiciel est sorti, l'entreprise a fièrement annoncé un taux de réussite de 99%. Moins d'un an plus tard, Originality AI lance un nouveau modèle, le Turbo 3.0, censé être une version plus performante, et annonce un "taux de réussite de 99%" - en admettant que le taux de réussite de la version 2 avoisinait plutôt les 90%.

Il est clair que l'entreprise a exagéré son taux de réussite et cherché à induire ses clients en erreur.

Recherches menées par Topcontent

Topcontent est une plateforme de création de contenu fondée en 2013. Ils ont mené des recherches dans l'espoir de trouver un bon outil de "détection de l'IA". Pour ce faire, ils ont utilisé différentes versions de textes écrits sur leur plateforme en 2016 (bien avant que ces IA soient développées).

Les résultats de leurs recherches sont fascinants : plus un texte est bien écrit, plus les détecteurs sont susceptibles de lui attribuer un "score d'IA" élevé. Ainsi, la première version d'un texte écrite par un humain obtiendra un faible score de "probabilité d'IA". Une fois peaufiné et relu, le même texte sera plus susceptible d'être signalé comme étant généré par l'IA.

Cela peut paraître contradictoire, et pourtant, au vu du fonctionnement des détecteurs de contenu généré par l'IA, c'est logique. Les générateurs de texte alimentés par l'IA sont formés à partir de textes humains et des règles de grammaire. Ainsi, lorsqu'un rédacteur applique correctement toutes ces règles, le détecteur ne fait que suivre la logique qu'on lui a impartie, en signalant le texte comme étant généré par l'IA.

Conséquences de l'utilisation de détecteurs de texte rédigé par l'IA

Que se passe-t-il lorsqu'on se fie aux détecteurs d'IA ? Tout d'abord, on gaspille de l'argent, pour un produit qui ne fonctionne pas. Mais les conséquences peuvent être beaucoup plus graves : certains élèves ont vu leur carrière universitaire ruinée après avoir été accusés à tort par des enseignants s'appuyant sur ces outils.

Heureusement, certaines écoles comme l'université Vanderbilt ont choisi de désactiver le détecteur d'IA de Turnitin, leur outil anti-plagiat.

Enfin, d'un point de vue qualitatif, si vous commencez à modifier vos textes juste pour éviter la détection de l'IA, il est possible que vous vous retrouviez avec un texte mal écrit, truffé d'erreurs et globalement de moins bonne qualité. Étant donné que Google et les autres moteurs de recherche donnent la priorité aux contenus de qualité, votre référencement en souffrirait. De plus, en termes de SEO, il n'y a pas de pénalités en ce qui concerne l'utilisation de l'IA dans le contenu Web, tant que celui-ci apporte de la valeur.

Le mot de la fin

Pour répondre à la question que nous posions au début de cet article : non, les détecteurs d'IA ne sont pas des outils fiables, et manquent de précision.

Loin de s'apparenter à un "détective" qui rassemblerait des indices concrets, un détecteur d'IA ressemble davantage à un médium, prêt à envoyer des gens en prison sur la base d'un pressentiment ou d'une intuition... Car il n'y a aucun indice précis à "détecter".

Indépendamment du fait que vous utilisiez ou non du contenu généré par l'IA et de l'usage que vous en faites, assurez-vous que vos textes soient de qualité. Tout comme il arrive qu'un humain rédige un texte et que celui-ci soit "mal écrit", l'IA est capable de faire de même, surtout si vos prompts ne sont pas précis.