L’objectif de cette expérience, en lien avec ChatPDF et Copula, était de savoir s’il était possible de manipuler un document PDF afin d’induire en erreur une IA quant à son contenu. En utilisant du texte masqué et en manipulant les métadonnées, nous avons pu démontrer qu’il était parfaitement possible de faire dire n’importe quoi à un document interrogé par une IA générative de texte.
Il existe de nombreuses applications ou sites web vous permettant d’explorer et de “discuter” avec un document PDF. C’est très pratique et plutôt efficace, d’autant que cela vous permet de rester plus proche du contenu du texte, et de limiter les hallucinations de l’IA lorsque vous échangez avec elle. On peut citer notamment :
Mais que se passe-t-il lorsqu’on modifie les données du document avant de lui soumettre ? Est-il possible de changer le contenu du document sans que la personne qui le consulte ne s’en rende compte ? Pour y parvenir, j’ai simplement ajouté du texte caché dans le document, qui se retrouve analysé par l’IA en tant que contenu original du texte. Ces éléments peuvent être introduits avec différentes méthodes plus ou moins discrètes que je ne décrirai pas ici. Ces informations ajoutées deviennent des parties intégrantes du texte et sont donc interprétées comme telles.
Vous trouverez ci-dessous un exemple d’exposé emprunté à Wikipédia sur l’exploration de la Lune. Rien n’est visible à l’œil nu ou suite à une exploration peu approfondie du document. Mais si je l’interroge avec l’aide d’une IA, je risque d’avoir quelques surprises…
Il est ainsi possible d’introduire dans le texte des éléments qui seront présentés comme des parties originales du document. Il est également possible de modifier les auteurs, les dates ou les sources sans que ces fausses informations n’apparaissent de manière visible pour l’utilisateur.
Alors est-ce une défaillance de l’IA ? Pas vraiment. Il s’agit d’un problème documentaire plus que technologique. L’IA analyse le document qu’on lui donne, et préserve la pensée de l’auteur. Pensée qui nous est malheureusement ici cachée, car le document a été manipulé. Mais pour l’IA il ne s’agit pas de faits, simplement d’un contenu présent dans le document. Si on creuse un peu, elle détectera l’ironie ou la manipulation. Elle remettra également en cause les informations allant à l’encontre du consensus scientifique.
Ce type de manipulation est parfaitement reproductible sur un site web et probablement dans une image, si on y introduit des informations cachées. Par conséquent, tout comme nous devons être vigilant·es avec les contenus que nous consultons, nous devons l’être avec ceux que nous partageons avec les IA.
Sauf indication contraire, l’ensemble des contenus de ce site https://chaireunescorelia.univ-nantes.fr/ est mis à disposition selon les termes de la Licence Creative Commons Attribution 4.0 International.