Les textes générés par IA sont déjà en train de « polluer

22 décembre 2022
fleetinfo
Technologie

Des outils comme DALL-E 2 ou Stable Diffusion, ou encore comme ChatGPT — dont on parle beaucoup en ce moment — sont très impressionnants. Les premiers sont capables de créer des images à partir d’une description textuelle ; le troisième est un agent conversationnel intelligent qui peut répondre à presque n’importe quelle question ou générer un texte sur mesure. Ces technologies sont si avancées que l’on peine parfois à croire que leurs productions ne sont pas l’œuvre d’un humain. Or, comme l’explique Melissa Heikkilä dans MIT Technology Review, cette profusion de textes « artificiels » pourrait être plus problématique qu’il n’y paraît.

ChatGPT, c’est un peu une encyclopédie disponible H24, qui a réponse à (presque) tout en un temps record. Mathématiques, histoire, philosophie, … rien ne lui échappe. Mais là où cet agent conversationnel – qui repose sur le modèle de langage GPT-3 d’OpenAI — se distingue particulièrement, est dans la génération de texte. Récit fictif, e-mail, blague, article de presse, etc., il peut écrire un texte clair, compréhensible et crédible sur n’importe quelle thématique. En moins d’un mois d’existence, il a déjà été utilisé par plus d’un million de personnes.

Si cette fonctionnalité peut potentiellement permettre à des étudiants de rédiger des dissertations sans efforts, elle peut aussi avoir des conséquences bien plus graves. Melissa Heikkilä évoque notamment des contenus de type conseil de santé — qui n’auraient pas reçu l’aval d’un vrai professionnel de santé — ou d’autres contenus informatifs importants. « Les systèmes d’IA pourraient également faciliter de manière stupide la production de quantités d’informations erronées, d’abus et de spams, déformant les informations que nous consommons et même notre sens de la réalité », écrit-elle.

De « bonnes » données d’entraînement de plus en plus rares

Il existe certains outils pour détecter les textes générés par une IA, mais ceux-ci s’avèrent inefficaces contre ChatGPT, précise la journaliste. Ce qui est le plus à craindre aujourd’hui n’est pas tant le fait qu’on ne parvienne pas à déterminer l’origine du texte (humaine ou artificielle), mais surtout que le Web pourrait être très vite rempli majoritairement de contenus erronés. Pourquoi ? Parce que les IA sont entraînées à partir de contenus glanés sur Internet… que d’autres IA ont elles-mêmes produit !

Au départ, les modèles informatiques de langage sont formés sur des ensembles de données (textes et images) trouvés sur Internet. Ceux-ci peuvent inclure du contenu de qualité, mais aussi des informations mensongères et malveillantes, mises en ligne par certaines personnes. L’IA formée à partir de ces données produit à son tour des contenus erronés, qui sont diffusés sur la Toile… et sont utilisés par d’autres IA pour produire des modèles de langage encore plus convaincants, que les humains peuvent utiliser pour générer et diffuser d’autres fausses informations, et ainsi de suite.

Le phénomène s’étend aujourd’hui aux images. « L’Internet est maintenant contaminé à jamais par des images faites par l’IA. Les images que nous avons faites en 2022 feront partie de tous les modèles qui seront faits à partir de maintenant », souligne Mike Cook, chercheur en IA au King’s College de Londres.

Ce qu’il faut retenir de tout cela, c’est qu’il sera de plus en plus difficile de trouver des données de qualité, et non générées par une IA, pour entraîner les futurs modèles d’IA. « Il est vraiment important de se demander si nous devons nous entraîner sur la totalité de l’Internet ou s’il existe des moyens de filtrer les éléments de haute qualité qui nous donneront le type de modèle linguistique que nous voulons », explique à MIT Technology Review Daphne Ippolito, chercheuse principale chez Google Brain, l’unité de recherche de Google dédiée à l’apprentissage profond.

Comment détecter les textes générés par une IA ?

Il devient donc indispensable de mettre au point des outils permettant de détecter les textes générés par une IA. Non seulement pour garantir la qualité des futurs modèles linguistiques, mais aussi pour s’assurer que les informations auxquelles nous avons accès quotidiennement sont basées sur des vérités. Comme le souligne Melissa Heikkilä, des personnes pourraient tenter de soumettre des articles scientifiques produits par une IA à un comité de lecture ou bien utiliser cette technologie comme outil de désinformation — ce qui serait particulièrement préjudiciable en période d’élections, par exemple.

Les humains ont aussi leur rôle à jouer dans ce combat contre les contenus artificiels : ils doivent devenir plus avisés et apprendre à repérer les textes qui n’ont pas été rédigés par un humain. « Les humains sont des écrivains désordonnés » : un texte écrit par une vraie personne comportera des fautes de frappe ou d’orthographe, quelques mots d’argot, des tournures de phrase parfois alambiquées, tout autant de petits signes qu’une IA ne peut reproduire (du moins, pas encore). De plus, les modèles de langage fonctionnent en prédisant le mot suivant dans une phrase ; de ce fait, ils utilisent principalement les mots les plus courants et très peu de mots rares.

Voilà pour la forme. Concernant le fond, il est important aussi de simplement prendre du recul sur ce qu’on lit sur Internet. Il faut savoir par exemple que la phase d’apprentissage de ChatGPT s’est terminée en 2021 ; l’outil s’appuie donc sur des données présentes sur le Web cette année-là. Par conséquent, les réponses exigeant des connaissances postérieures à cette date seront nécessairement erronées, obsolètes ou inventées.

« Selon Mme Ippolito, les gens devraient être attentifs aux incohérences subtiles ou aux erreurs factuelles dans des textes présentés comme des faits », rapporte Melissa. Nous en sommes tout à fait capables : les travaux de la chercheuse ont montré qu’avec de la pratique, les humains parviennent de mieux en mieux à repérer les contenus artificiels.