Une étude de l'Université de Göteborg a démontré que les systèmes d'intelligence artificielle modernes peuvent reproduire et diffuser des informations médicales délibérément fausses, malgré des signes évidents de falsification dans les données sources.
Expérimenter avec une maladie inexistante
La chercheuse Almira Osmanovic Thunström a lancé une expérience dans laquelle deux faux articles scientifiques sur la condition fictive « bixonymanie » — une forme supposée d'hyperpigmentation périorbitaire associée à l'exposition à la lumière bleue — ont été publiés et téléchargés sur un serveur de prépublication entre mars et mai 2024.
Les articles étaient attribués à un chercheur fictif, Lazljiv Izgubljenovic, de l'université fictive Asteria Horizon (Californie). Leur nature fictive était clairement indiquée : la phrase « Cet article est entièrement fictif », des remerciements à la « Professeure Maria Boehm de l'Académie de Starfleet », ainsi que des mentions de financements provenant de la « Fondation du Professeur Sideshow Bob » et de « l'Université de la Communauté de l'Anneau et de la Triade Galactique ».
Malgré cela, les principaux systèmes d'IA ont traité la « bixonymanie » comme une véritable affection pendant plusieurs semaines après sa publication. Google Gemini décrivait déjà les causes de la maladie et recommandait une consultation chez un ophtalmologiste dès le 13 avril 2024. Le 27 avril, Perplexity publiait des statistiques de prévalence d'un cas pour 90 000 personnes, et ChatGPT fournissait le même jour des recommandations aux utilisateurs concernant les symptômes.
Fausses informations dans une publication scientifique
L'expérience s'est poursuivie lorsqu'un des faux articles a été inclus dans un article évalué par des pairs et rédigé par des chercheurs indiens. Cet article, publié dans la revue Cureus le 27 novembre 2024, a été rétracté le 30 mars 2026.
Selon l'avis officiel, la rédaction a relevé « trois références non pertinentes, dont une à une maladie fictive », ce qui jette un doute sur la validité de l'article. Des informations complémentaires sont disponibles dans l'avis de rétractation publié sur le DOI. Cependant, les auteurs de l'article contestent cette décision.
Une analyse détaillée de l'expérience et de ses conséquences a été publiée dans la revue Nature le 7 avril 2026.
L'adoption croissante de l'IA dans le secteur de la santé aux États-Unis
Parallèlement aux risques identifiés, les entités publiques et privées intègrent activement l'IA dans les processus médicaux. En mai 2025, la Food and Drug Administration (FDA) américaine a achevé le premier projet pilote d'évaluation scientifique assistée par l'IA.
En juin de la même année, l'agence a lancé l'outil Elsa afin d'accélérer l'examen des protocoles cliniques et l'évaluation de la sécurité. En décembre 2025, la FDA a également homologué le premier outil de découverte de médicaments basé sur l'IA, AIM-NASH, utilisé pour l'analyse histologique dans le cadre de la MASH.
Des changements radicaux sont également envisagés au niveau institutionnel. Le 25 mars 2026, Mitchell H. Katz, PDG de NYC Health + Hospitals, a annoncé la possibilité de remplacer une part importante des radiologues par des algorithmes d'IA, sous réserve de l'approbation des autorités réglementaires, en évoquant une réduction significative des coûts d'imagerie.
L'avis de l'IA
Du point de vue de l'apprentissage automatique, ces incidents impliquant de fausses publications scientifiques s'inscrivent dans un phénomène plus général de vulnérabilité des modèles de langage face à des sources présentées comme faisant autorité. Le système ne « comprend » pas la crédibilité, mais évalue plutôt la structure et la plausibilité du texte, ce qui rend les prépublications non évaluées par les pairs potentiellement dangereuses pour l'entraînement et la génération de réponses.