TP : Construire une checklist de vérification anti-hallucination

Ce TP fait suite au cours sur les hallucinations des LLM. L’objectif n’est pas d’écrire du code mais de construire une méthode de vérification reproductible, puis de l’appliquer à des réponses générées volontairement dans des situations à risque.

Objectifs#

• Construire une checklist de vérification adaptée au type de demande posée
• Repérer une hallucination dans une réponse rédigée avec assurance
• Reformuler une question pour réduire le risque d’hallucination
• Évaluer dans quelle mesure une source fournie en contexte change le résultat

Prérequis#

• Accès à un assistant IA conversationnel (Claude, ou tout autre assistant équivalent)

Étape 1 : construire une checklist de vérification par type de risque#

En reprenant le tableau des situations à risque du cours (citations, chiffres, API, sujets récents), rédigez une checklist de trois à cinq questions à vous poser systématiquement avant d’accepter telle quelle une réponse relevant de chacune de ces catégories.

Exemple pour la catégorie "citations et sources" :
- La source existe-t-elle réellement (recherche indépendante) ?
- L'auteur cité a-t-il réellement écrit ce texte ?
- La citation exacte figure-t-elle bien dans la source, ou est-elle reformulée ?

Explication#

Une checklist générique (“vérifier si c’est vrai”) n’aide pas à agir concrètement. Une checklist propre à chaque catégorie de risque transforme une intuition de méfiance en actions vérifiables une par une, ce qui la rend utilisable même sous pression de temps.

Tester#

Votre checklist est utilisable si une autre personne, en la suivant, peut se prononcer sur une réponse sans avoir lu le cours au préalable.

Étape 2 : provoquer une hallucination sur un sujet pointu#

Posez à l’assistant une question précise sur un sujet de niche ou récent dont vous connaissez déjà la réponse exacte (une statistique de votre secteur, une référence réglementaire précise, un événement récent). Notez la réponse obtenue sans la corriger.

Explication#

Tester sur un sujet que vous maîtrisez déjà est la seule façon de juger objectivement si la réponse est correcte, plausible mais fausse, ou honnêtement incertaine. Tester sur un sujet inconnu de vous ne permet pas de conclure.

Tester#

Comparez la réponse obtenue à ce que vous savez être vrai. Si la réponse contient un détail inventé (chiffre, nom, date) présenté avec la même assurance qu’un détail correct, l’hallucination est confirmée.

Étape 3 : appliquer la checklist à la réponse obtenue#

Reprenez la réponse de l’étape 2 et appliquez-lui la checklist correspondante construite à l’étape 1, point par point.

Exemple de grille de relecture :
| Point de la checklist          | Vérifié | Résultat |
|---------------------------------|---------|----------|
| Source citée existe réellement  | oui     | fausse   |
| Chiffre cohérent avec la source | oui     | inventé  |

Explication#

Cette étape mesure concrètement l’utilité de la checklist : si elle ne permet pas de repérer l’hallucination provoquée à l’étape 2, c’est qu’elle est encore trop générale ou mal ciblée sur ce type de risque.

Tester#

La checklist est validée si son application révèle au moins un point faux ou invérifiable dans la réponse de l’étape 2.

Étape 4 : reformuler la question pour réduire le risque#

Reposez la même question en demandant explicitement au modèle d’indiquer son niveau de confiance et de préciser s’il ne dispose pas d’information fiable sur le sujet, plutôt que de produire une réponse par défaut.

Explication#

Le modèle ne devient pas plus fiable par cette reformulation, mais la question modifie la probabilité qu’il exprime une incertitude plutôt que de la masquer sous une réponse assurée.

Tester#

Comparez la formulation de la nouvelle réponse à celle de l’étape 2 : une expression explicite de doute ou de limite de connaissance est un résultat positif, même si la réponse reste incomplète.

Étape 5 : fournir une source en contexte (RAG manuel)#

Recherchez vous-même une source fiable sur le même sujet, collez son contenu dans le prompt, puis reposez la question en demandant à l’assistant de répondre uniquement à partir de cet extrait.

Explication#

Cette étape reproduit manuellement le principe du RAG vu dans le cours : fournir l’information pertinente directement dans le contexte plutôt que de compter sur les connaissances internes du modèle. Elle permet de mesurer par vous-même l’écart de fiabilité avec l’étape 2.

Tester#

Comparez la nouvelle réponse à la source fournie phrase par phrase. Une réponse fidèle à la source est le résultat attendu ; toute information absente de la source mais présente dans la réponse est une hallucination malgré le contexte fourni.

Points clés à retenir#

• Une checklist de vérification doit être spécifique au type de risque, pas générique
• Une hallucination n’est détectable de façon fiable que sur un sujet que vous maîtrisez déjà
• Autoriser explicitement l’incertitude dans la question réduit, sans l’éliminer, le risque de réponse inventée
• Fournir une source en contexte améliore la fiabilité mais n’empêche pas une synthèse infidèle à cette source

Références#

• Cours associé : Détecter et limiter les erreurs inventées par un LLM
• Le quiz associé permet de vérifier la compréhension des notions mobilisées dans ce TP