Une réponse bien écrite, précise et accompagnée de références peut contenir des informations inventées. Les hallucinations de l’IA désignent notamment ces contenus erronés qu’un système génératif présente comme des faits. Pour les professionnels de santé, comprendre ce phénomène aide à lire autrement une synthèse, une explication ou une bibliographie produite par un assistant.
Le problème peut échapper à une première lecture. Vous demandez une explication, vous recevez des paragraphes ordonnés et des termes familiers. Le texte paraît abouti. Il reste pourtant à établir d’où viennent ses affirmations et si les documents cités les soutiennent.
Ce qu’on appelle une hallucination de l’IA
Dans son profil consacré aux risques de l’IA générative, le NIST, organisme américain de normalisation et de mesure, utilise le terme « confabulation ». Il décrit la production d’un contenu faux ou erroné présenté avec assurance, mais aussi des réponses qui contredisent les informations fournies. Une justification ou une citation peut elle-même être fabriquée. NIST, Generative Artificial Intelligence Profile, 2024, section 2.2.
Le mot « hallucination » appartient ici au vocabulaire de l’intelligence artificielle. Il ne décrit pas un symptôme médical ni une expérience vécue par la machine.
Deux situations permettent de comprendre le problème. Un assistant peut donner le titre d’un article qui n’existe pas. Il peut aussi résumer un document réel en transformant une hypothèse en décision. Dans le premier cas, il manque une source ; dans le second, la source existe, mais la réponse s’en écarte.
Une information simplement absente d’un résumé ne constitue pas forcément une hallucination. Elle peut toutefois rendre ce résumé trompeur si elle change le sens de ce qui reste. L’exactitude des phrases et la fidélité de l’ensemble méritent donc deux lectures distinctes.
Pourquoi un modèle peut-il écrire quelque chose de plausible et faux ?
Les grands modèles de langage, ou LLM, apprennent des régularités dans de vastes ensembles de données. Lors de la génération, ils calculent des suites de fragments de texte à partir du contexte disponible. Ce fonctionnement permet de produire des réponses cohérentes ; il peut aussi conduire à des affirmations inexactes. Le NIST décrit ce lien entre génération statistique et confabulation dans son profil de risque.
La CNIL souligne également que des résultats inexacts peuvent paraître plausibles. Elle cite notamment le cas d’informations absentes des données d’entraînement ou d’événements plus récents, lorsque le système ne dispose pas d’une source actualisée. CNIL, questions-réponses sur l’IA générative, 2024.
Il faut distinguer le modèle de l’outil complet que vous utilisez. Un assistant peut associer un modèle de langage à un moteur de recherche, à des documents internes ou à d’autres fonctions. Demander « quelle information a été consultée pour cette réponse ? » permet de préciser ce qui reste à contrôler.
Un ton affirmatif ne renseigne donc pas, à lui seul, sur la fiabilité d’une phrase. La présence d’un vocabulaire spécialisé ne fournit pas davantage la preuve que son contenu a été vérifié.
Rajae Ghanimi et Loïc Etienne ont également abordé les limites des IA génératives lors du webinaire « IA & Santé : la relation médecin-patient redéfinie ». Le replay permet de retrouver cet échange ; les repères documentaires développés ici en proposent un approfondissement.
En santé, le sujet dépasse la réponse à une question médicale
Dans ses orientations de janvier 2024 sur les grands modèles multimodaux, l’Organisation mondiale de la Santé signale les risques de contenus faux, inexacts ou incomplets. Elle couvre plusieurs usages, dont la formation et la recherche, ainsi que la documentation administrative. Elle alerte aussi sur le biais d’automatisation : une confiance excessive dans l’outil peut conduire à négliger des erreurs. OMS, orientations sur les modèles multimodaux en santé.
Pour un professionnel, la question peut ainsi se poser bien avant une décision de soin. Vous préparez un support de formation, une note pour votre équipe ou une recherche bibliographique. Si une affirmation inventée entre dans ce document, un collègue pourra ensuite la reprendre sans avoir accès à la conversation initiale.
À ce stade, une distinction aide : une réponse générée constitue un matériau de travail dont les affirmations restent à examiner. Le fait de l’avoir copiée dans une présentation ne lui apporte aucune preuve supplémentaire.
Une référence affichée n’est pas encore une preuve
Une bibliographie donne au texte une apparence documentée. Elle peut pourtant contenir un titre fabriqué, une date incorrecte ou un lien vers un article différent.
En 2023, William H. Walters et Esther Isabelle Wilder ont étudié les références produites par deux versions de modèles sur 42 sujets. Ils ont observé des citations fabriquées ainsi que des erreurs dans des références correspondant à des travaux réels. Cette étude porte sur les versions et les conditions testées à l’époque ; elle ne mesure pas le taux d’erreur des assistants actuels. Walters et Wilder, Scientific Reports, 2023.
Pour lire une réponse accompagnée de sources, nous proposons de distinguer trois vérifications documentaires :
- 01La source existe
Retrouver le document original.
- 02Le passage correspond
Comparer la phrase et sa source.
- 03La portée est respectée
Examiner le contexte et les limites.
Repères de lecture proposés par HealthTech Institute.
| Vérification | Ce qu’elle permet d’établir | Ce qu’elle ne démontre pas |
|---|---|---|
| Retrouver la publication | Le document existe ; son titre, ses auteurs et sa date correspondent | Que la réponse décrit correctement son contenu |
| Lire le passage concerné | La source contient bien l’information invoquée | Que cette information répond à votre question dans le même contexte |
| Examiner la portée | La population, la situation et les limites de la source correspondent à l’affirmation | Qu’un résultat permet à lui seul de décider d’un usage clinique |
Un lien qui fonctionne ne suffit pas. Imaginez une réponse affirmant qu’un outil réduit une durée de traitement administratif dans tous les établissements. La source pourrait décrire seulement un essai sur une tâche particulière. Le document serait réel, mais la généralisation resterait à justifier.
Cette lecture documentaire peut révéler une référence absente ou une conclusion exagérée. L’interprétation clinique d’une étude demande, elle, les compétences et l’évaluation correspondantes.
Un exemple fictif : quand une hypothèse devient une décision
Prenons une note de réunion logistique entièrement fictive, sans donnée de patient :
L’établissement envisage de tester un assistant pour préparer les invitations à ses conférences. Aucun outil n’a été sélectionné. L’équipe comparera deux solutions après réception des devis. Le budget et la date du test restent à confirmer.
Voici une reformulation volontairement erronée, construite pour cet exemple :
L’établissement a retenu un assistant pour ses invitations. Le test commencera le mois prochain, après validation du budget.
Le texte est fluide, mais il modifie le statut du projet. Un choix est annoncé alors qu’il reste ouvert. Une échéance apparaît sans être présente dans la note. La formulation laisse aussi entendre qu’une validation budgétaire est organisée, alors que la source indique seulement une information à confirmer.
Une restitution fidèle pourrait être :
Un test est envisagé pour préparer les invitations. Le choix de l’outil dépendra de la comparaison de deux solutions après réception des devis. Le budget et la date ne sont pas encore confirmés.
Cet exemple n’est pas le résultat d’un test comparatif d’assistants. Il illustre une différence observable entre une source et sa reformulation. La même lecture peut servir à discuter un exercice de formation : quels mots exprimaient une possibilité, lesquels annoncent maintenant une décision, et quel passage justifie ce changement ?
Des documents et un bon prompt aident-ils à éviter les hallucinations ?
Connecter un modèle à des documents est l’une des approches étudiées pour améliorer l’ancrage factuel des réponses. Le RAG, pour retrieval-augmented generation, associe une recherche d’informations à la génération de texte. La synthèse de Yunfan Gao et de ses coauteurs présente cette approche ainsi que ses difficultés, notamment dans la recherche des éléments pertinents et dans leur utilisation par le modèle. Gao et al., synthèse sur le RAG, version de mars 2024.
L’accès à des documents apporte donc un moyen de confronter une réponse à des sources. Il reste à examiner quels documents ont été retenus et si la synthèse respecte leur contenu. La présence d’une fonction de recherche ne suffit pas à établir que chaque affirmation a été contrôlée.
Pour l’exemple logistique précédent, une consigne comme celle-ci rendrait le résultat attendu plus explicite :
Résume uniquement la note fournie. Conserve la distinction entre ce qui est envisagé et ce qui est décidé. Si une date ou un budget manque, indique « non confirmé ». Pour chaque décision annoncée dans ton résumé, reproduis le passage de la note qui la justifie.
Cette consigne est une proposition pédagogique de HealthTech Institute. Elle facilite la comparaison avec le document de départ ; elle ne garantit pas l’absence d’erreur. La restitution obtenue reste à lire, y compris les passages que l’assistant présente comme des citations.
Le réflexe à développer en formation
Une démonstration devient plus instructive lorsque le document de départ reste visible à côté du résultat. Vous pouvez alors examiner une réponse précise, repérer ce qui a changé et expliquer pourquoi une correction est nécessaire.
Pour évaluer un exercice proposé dans une formation, demandez à voir la consigne, le résultat attendu et les critères de correction. Un exercice sur des informations fictives peut déjà montrer la différence entre une formulation élégante et une restitution fidèle. Notre guide pour choisir une formation IA en santé approfondit les éléments pédagogiques à comparer.
Le Certificat en intelligence artificielle appliquée à la santé de HealthTech Institute s’adresse aux professionnels de santé qui découvrent l’IA ou l’utilisent déjà. Consultez son programme pour situer les thèmes abordés et les modalités du parcours.
Lors de votre prochaine lecture d’une synthèse générée, choisissez une affirmation importante et remontez jusqu’au passage qui la soutient. Si ce passage reste introuvable, cette affirmation reste à établir.
Sources et lectures
- NIST, Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile, juillet 2024, section 2.2, « Confabulation ». Lire le document.
- CNIL, Les questions-réponses sur l’utilisation d’un système d’IA générative, 18 juillet 2024. La source est mobilisée ici pour ses explications techniques. Lire les questions-réponses.
- Organisation mondiale de la Santé, WHO releases AI ethics and governance guidance for large multi-modal models, 18 janvier 2024. Lire la présentation des orientations.
- William H. Walters et Esther Isabelle Wilder, Fabrication and errors in the bibliographic citations generated by ChatGPT, Scientific Reports, 13, 14045, 7 septembre 2023. DOI : 10.1038/s41598-023-41032-5. Lire l’étude.
- Yunfan Gao et al., Retrieval-Augmented Generation for Large Language Models: A Survey, arXiv:2312.10997, version du 27 mars 2024. Synthèse de recherche disponible en prépublication. Lire la synthèse.