← IACédric MerlinFREN

Galaxie IA Cas 5 sur 8

Une IA a inventé deux définitions fausses

Le problème

Interrogé sur un sigle métier, un modèle a donné deux définitions, toutes deux fausses, avec aplomb. Et il avait reçu la consigne de dire « je ne sais pas ».

Ce que j’ai fait

01

La consigne échoue

Demander au modèle d’être prudent ne suffit pas.

02

Seulement des extraits

Je ne lui donne plus que des extraits de documents.

03

Sinon : absent des sources

Sans extrait pertinent, la réponse est « absent des sources », sans même interroger le modèle.

Schéma : d’une réponse inventée à une réponse ancrée dans des sourcesEn haut, une réponse contient deux définitions barrées en rouge et la consigne « je ne sais pas » est ignorée. En dessous, une question passe par une base d’extraits (Qdrant) puis le modèle, qui répond avec une source. Pour une seconde question sans extrait pertinent, un détour évite le modèle et la réponse est « absent des sources ».je ne sais pasdeux définitions fausses?Qdrantmodèle[1]?absent des sources

Le résultat

Une règle que j’applique partout, y compris à mes propres assistants.

Stack

  • RAG
  • Qdrant