Vérifier une présentation stratégique générée par IA

Un protocole de terrain pour relire une présentation stratégique rédigée par IA avant qu'elle n'arrive devant un conseil ou un comité d'investissement : quoi contrôler et dans quel ordre, les cinq distorsions à chercher dans chaque chiffre, et que faire des affirmations invérifiables.

Un brouillon appelle l'examen. La prose bute, les chiffres semblent provisoires, et quiconque le lit se demande spontanément si l'analyse tient. Une présentation fluide produit l'effet inverse : elle répond aux questions avant qu'elles ne soient posées. Les phrases sont complètes, les transitions lisses, et les citations figurent exactement là où un analyste soigneux les placerait. Ce vernis est précisément ce qui rend la relecture périlleuse, car l'instinct du relecteur, calibré sur du travail humain, consiste à faire confiance à ce qui se lit bien. La fluidité n'est pas une preuve d'exactitude, mais elle atténue de manière fiable l'examen que l'exactitude réclame.

La confabulation est le mode de défaillance nommé

Le mode de défaillance porte un nom formel. Le National Institute of Standards and Technology des États-Unis, dans son Generative AI Profile (NIST AI 600-1, juillet 2024), décrit la confabulation comme le phénomène par lequel des systèmes génératifs produisent et présentent avec assurance un contenu erroné ou faux en réponse à une requête, ce que l'on appelle couramment hallucinations ou fabrications.^[1] Le même document formule deux observations directement utiles à qui relit une présentation rédigée par IA. D'abord, les productions génératives peuvent comporter des raisonnements ou des citations confabulés qui semblent justifier ou expliquer la réponse du système, ce qui peut conduire les humains à lui accorder une confiance inappropriée. Ensuite, le NIST range le biais d'automatisation et la dépendance excessive parmi les risques nés de la façon dont humains et systèmes d'IA sont agencés ensemble : plus la technologie paraît fiable, moins elle est questionnée.

Aucune de ces deux observations ne plaide contre l'usage de l'IA en stratégie. Elles plaident pour une posture de relecture précise. Si le mode de défaillance est l'erreur assurée et d'apparence bien sourcée, le relecteur ne peut pas s'appuyer sur l'instinct qui fonctionne avec les brouillons humains, à savoir sonder là où l'écriture faiblit. Il faut sonder là où l'écriture est solide.

• La fluidité atténue l'examen : une présentation soignée étouffe les questions qu'un brouillon provoque.
• La confabulation est le mode de défaillance nommé : un contenu erroné ou faux énoncé avec assurance, y compris des justifications et des citations fabriquées.
• Une relecture impressionniste est donc insuffisante : la vérification doit être procédurale, une séquence fixe de contrôles menée à l'identique chaque fois, et non un jugement sur la façon dont la présentation se lit.

La suite de cet article expose cette procédure. Elle est écrite comme un protocole applicable dès aujourd'hui à une présentation existante : trier les affirmations, ouvrir chaque source citée, comparer la phrase, nommer la distorsion, trancher sur l'invérifiable et consigner qui a validé.

Le premier tri consiste à séparer deux types d'énoncés qui, sur une diapositive, se ressemblent trait pour trait. Une affirmation attribuable a derrière elle un document réel, nommé et consultable : une publication précise, d'une organisation précise, que le relecteur peut localiser et lire. La prose au parfum de source se contente d'emprunter le registre de la citation. Elle cite des institutions plausibles, des années plausibles et des attributions plausibles, dans la grammaire de la preuve, sans qu'aucun document ne s'ouvre à l'autre bout. Sur la diapositive, les deux sont indiscernables. Toutes deux se lisent comme documentées. Une seule survit à un clic.

La prose au parfum de source survit à une lecture rapide parce qu'elle est faite pour cela. Les modèles génératifs sont entraînés sur des textes où les affirmations sont suivies d'attributions ; leur production reproduit donc la forme de l'attribution avec fluidité, qu'un document existe ou non derrière. Ce n'est pas une inquiétude théorique. La rédaction de Nature a rapporté que des citations hallucinées, des références produites par IA ne correspondant à aucune publication réelle, apparaissent dans la littérature scientifique publiée,^[2] et un audit de 111 millions de références réparties sur 2,5 millions d'articles d'arXiv, bioRxiv, SSRN et PubMed Central a constaté une forte hausse des références inexistantes après l'adoption massive des grands modèles de langage.^[3] La littérature scientifique est le canari dans la mine : les auteurs de l'audit relèvent que la modération des prépublications et les processus éditoriaux des revues n'interceptent qu'une fraction de ces erreurs.

La conclusion pratique pour un relecteur est nette. Il n'existe aucun critère fiable pour distinguer les deux catégories, hormis l'ouverture de la source. Relire la phrase n'aide pas. Se demander si l'attribution sonne juste n'aide pas davantage, car la vraisemblance est exactement ce pour quoi la prose est optimisée. Le test est mécanique : pour chaque affirmation porteuse, localiser le document, l'ouvrir et confirmer qu'il dit bien ce que la diapositive lui fait dire. Les sections trois et quatre détaillent cette comparaison.

Le cœur du protocole est une comparaison côte à côte, menée affirmation par affirmation. Pour chaque affirmation porteuse de la présentation : ouvrir la source citée, localiser le passage sur lequel l'affirmation repose, et lire la formulation de la source face à celle de la diapositive. Non pas le thème contre le thème, mais la phrase contre la phrase. La plupart des distorsions des présentations rédigées par IA se logent au niveau de la phrase, dans l'écart entre ce qu'une source énonce et ce qu'un résumé de cette source laisse entendre. Une comparaison par paragraphe ou par thème ne les attrape pas.

L'ordre de tri qui garde la passe finie

Une présentation complète contient plus d'affirmations que personne ne peut vérifier en un après-midi : la passe a donc besoin d'un ordre. Procédez en trois niveaux :

1. Les chiffres d'abord. Toute grandeur qui porte la démonstration : tailles de marché, capacités, pourcentages, taux de croissance, dates rattachées à des quantités. Ce sont les affirmations qu'un conseil répétera, et celles où un seul mot changé déplace le sens en silence.
2. Les attributions ensuite. Toute affirmation créditant une institution, un auteur ou une étude nommés d'un résultat. Vérifiez que la partie citée existe, que la source lui attribue bien ce résultat et qu'elle est correctement caractérisée.
3. Le récit en dernier. Les chaînes causales et les jugements qualitatifs : que A a conduit à B, qu'un marché se consolide, qu'une capacité constitue un facteur de différenciation. Plus difficiles à réfuter et moins lourds de conséquences, ils viennent après ce qui se contrôle à la lettre.

Quand la source est payante, indisponible ou inexistante

Trois choses peuvent se produire à l'ouverture d'une citation. La source est accessible et la comparaison peut avoir lieu. La source est réelle mais inaccessible : payante, hors ligne, ou disponible seulement dans une version que le relecteur ne peut pas lire dans le temps imparti. Ou la source n'existe pas à l'endroit indiqué, voire pas du tout. Traitez ces cas différemment. Une source inaccessible est un problème de calendrier : l'affirmation ne reste dans la présentation que si quelqu'un y ayant accès effectue la comparaison, sinon elle est rétrogradée en hypothèse en attendant. Une source inexistante n'est pas un problème de calendrier. L'affirmation n'a aucun appui et passe à l'étape d'arbitrage décrite plus loin. Ce que le relecteur ne doit jamais faire, c'est laisser une citation non ouverte parce que l'attribution semblait crédible. C'est exactement la défaillance que ce protocole existe pour empêcher.

L'étape de comparaison s'apprend le mieux sur un cas réel, et une source publiée l'illustre entièrement. La Federal Reserve Bank of Dallas, écrivant sur la tempête hivernale du Texas de février 2021 et son effet sur la pétrochimie, indique : 'As much as 80 percent of U.S. basic organic chemicals capacity was offline after the storm, and up to 60 percent was still offline in mid-March.' En français : jusqu'à 80 pour cent de la capacité américaine en produits chimiques organiques de base était à l'arrêt après la tempête, et jusqu'à 60 pour cent l'était encore à la mi-mars. La même phrase attribue ces chiffres à des estimations de Wood Mackenzie, un cabinet de conseil du secteur énergétique, et ajoute que la capacité a été largement rétablie en avril.^[4] Un brouillon résumant cette source a rendu la première moitié ainsi : 'roughly 80 percent of basic organic chemical capacity across the region', soit environ 80 pour cent de la capacité en produits chimiques organiques de base dans la région.

La phrase du brouillon se lit parfaitement. Elle est grammaticale, proche de la source, et rien n'y paraît fautif. Elle contient deux distorsions, et un relecteur ayant appris à les nommer trouvera les deux en moins d'une minute.

Le glissement de périmètre d'abord. La Dallas Fed décrit une capacité située aux États-Unis, et elle peut le faire de façon crédible parce que le Texas à lui seul en concentre la très large majorité. Le brouillon transforme ce chiffre national en chiffre régional. Selon la région que le lecteur imagine, le chiffre décrit désormais une population différente de celle que décrit la source, et l'argument de la diapositive peut reposer sur la lecture régionale. Le glissement de borne est plus subtil et, devant un conseil, plus lourd de conséquences. 'As much as 80 percent' est une borne supérieure : le pire cas, le maximum atteint par la capacité à l'arrêt. 'Roughly 80 percent' est une estimation centrale : la valeur typique, le chiffre sur lequel on planifie. Présenter un pire cas comme une estimation centrale fait passer un mauvais scénario pour le scénario attendu, exactement l'optimisme silencieux qu'un conseil ne devrait pas absorber sans le savoir.

Notez en quoi le contrôle a consisté. Aucune technique forensique, aucun test statistique. Le relecteur a ouvert le document cité, trouvé la phrase et comparé la formulation. Chaque distorsion de cet exemple était visible dans cette comparaison, et aucune ne l'était dans la phrase du brouillon prise seule.

L'exemple a montré deux distorsions récurrentes sur cinq. Ensemble, elles forment la liste qu'un relecteur applique à chaque chiffre porteur : périmètre, borne, période, unité et attribution. Chacune est une dimension unique sur laquelle un résumé peut s'écarter de sa source alors que la phrase continue de se lire proprement.

Trois d'entre elles méritent une illustration au-delà du tableau. Une distorsion de période survient lorsqu'un chiffre rattaché à une période précise, un trimestre ou un mois donné, est repris sans cet ancrage : un instantané devient une tendance dans l'esprit du lecteur. Une distorsion d'unité survient lorsque la grandeur mesurée change de nature dans le résumé : la capacité devient production, une part d'une base devient une part d'une autre, un stock devient un flux. Une distorsion d'attribution survient lorsque le résumé crédite une institution d'un chiffre que la source attribue ailleurs, ou présente le rôle de la source plus fortement qu'elle ne le fait elle-même, par exemple en transformant une estimation sectorielle en statistique officielle.

Rappelez-vous enfin que les distorsions voyagent ensemble. L'exemple en portait deux dans une seule proposition, et rien n'empêche une reformulation d'en porter trois. C'est pourquoi le contrôle est une comparaison de phrases et non un coup d'œil chiffre par chiffre : une comparaison peut révéler plusieurs défaillances à la fois, là où un coup d'œil n'attrapera que la première.

Certaines affirmations ne survivront pas à la passe : la source n'existe pas, elle dit autre chose, ou elle ne peut pas être ouverte à temps. Pour chacune, il existe exactement trois arbitrages défendables, et le relecteur doit choisir délibérément plutôt que par défaut.

• Retirer l'affirmation. Si elle ne porte pas la démonstration à elle seule, la suppression est l'arbitrage le plus net. La présentation avance sur ce qui a passé le contrôle.
• La signaler comme hypothèse. Si la démonstration en a besoin, reformulez-la explicitement comme hypothèse dans la présentation, visible comme telle pour l'auditoire, et reportez-la au registre des hypothèses décrit ci-dessous.
• La re-sourcer. Si un document que le relecteur a ouvert étaye l'affirmation, remplacez la citation et la formulation par ce que ce document dit réellement, et ajoutez la nouvelle source au dossier de vérification.

Pourquoi le flou n'est pas une sécurité

L'arbitrage auquel il faut résister est le quatrième, celui qui vient à l'esprit de tout relecteur pressé : atténuer. Un chiffre invérifiable est réécrit en 'significatif', 'substantiel' ou 'une part importante', et la diapositive se lit désormais comme une prose assurée sans rien à contrôler. C'est le piège de l'atténuation. Le flou n'est pas une affirmation réduite, c'est une affirmation incontrôlable, et dans une présentation il se lit comme un savoir établi plutôt que comme l'incertitude qu'il dissimule. Un administrateur qui sonde une affirmation vague ne trouve rien à sonder, et c'est précisément le problème. Si un chiffre ne peut être vérifié, les présentations honnêtes sont le retrait ou l'hypothèse explicite, pas un synonyme.

Le registre des hypothèses rend le deuxième arbitrage praticable. C'est une liste unique et tenue à jour de chaque affirmation de la présentation qui tient comme hypothèse et non comme fait vérifié, chacune avec son origine et, si possible, l'élément de preuve qui la confirmerait. Le registre a sa place en annexe ou dans les documents de soutien, et il change la structure épistémique de la présentation : sa crédibilité repose désormais visiblement sur les affirmations qui ont passé le contrôle, le reste étant étiqueté. Celui qui peut distinguer, sur demande, ce qui a été vérifié de ce qui a été supposé se trouve dans une position nettement plus solide que celui qui présente un document où chaque phrase sonne avec la même certitude.

La vérification s'achève sur une personne nommée. Celui qui présente est responsable du dossier de vérification : la liste des affirmations porteuses contrôlées, la source ouverte pour chacune et la comparaison effectuée, y compris les distorsions trouvées et les arbitrages appliqués. Ce n'est pas de la bureaucratie. C'est ce qui fait passer le protocole d'une habitude privée à un acte de gestion, et ce qui permet de défendre la présentation quand un administrateur demande, des semaines plus tard, d'où venait un chiffre. La réponse est un document, pas un souvenir.

• Chaque affirmation porteuse, dans l'ordre de tri retenu : chiffres, puis attributions, puis récit.
• La source ouverte pour chaque affirmation et la phrase comparée.
• Les distorsions trouvées, nommées par type, et la façon dont chacune a été résolue : corrigée, retirée ou signalée comme hypothèse.
• Le registre des hypothèses, listant chaque affirmation que la présentation porte comme telle.
• Le nom de la personne ayant effectué la comparaison et la date d'achèvement.

La validation est un acte de gestion, pas une formalité. La boîte à outils de supervision Empowering AI Leadership du Forum économique mondial, destinée aux conseils d'administration, repose sur cette division du travail : la direction élabore et exécute la stratégie dans un monde façonné par l'IA, tandis que le rôle du conseil est de superviser les décisions de la direction et leurs résultats.^[5] Une présentation qui parvient à un conseil ou à un comité d'investissement est exactement un tel intrant de décision, et la personne qui la présente répond de ce qui y est vérifié et de ce qui y est supposé. Signer le dossier de vérification rend cette responsabilité explicite plutôt qu'implicite.

Le protocole décrit ici est délibérément indépendant de l'outil : il s'applique à n'importe quelle présentation, quel qu'en soit le processus de rédaction. Mais l'effort qu'il demande dépend beaucoup de la façon dont la présentation a été construite. Decisity est une plateforme de stratégie nativement IA dont la production est faite pour être contrôlée : chaque affirmation et chaque chiffre d'une présentation Decisity renvoie à sa source d'un clic, de sorte que l'étape de comparaison de ce protocole s'exécute comme une passe rapide plutôt que comme un exercice forensique, et que le dossier de vérification se constitue de lui-même à partir des liens traçables au lieu d'être reconstitué après coup. Pour les équipes qui présentent devant des conseils et des comités d'investissement, c'est la différence entre une vérification qui est un projet et une vérification qui fait partie du flux de travail. L'exigence de fond reste la même dans les deux cas, et c'est celle que cet article a appliquée d'un bout à l'autre : une présentation est prête quand chaque affirmation porteuse a été ouverte, comparée et signée.

• NIST AI 600-1: Generative Artificial Intelligence Profile
• Nature: Hallucinated citations are polluting the scientific literature. What can be done?
• LLM hallucinations in the wild: Large-scale evidence from non-existent citations
• Dallas Fed: Texas winter deep freeze broke refining, petrochemical supply chains
• World Economic Forum: Empowering AI Leadership, Oversight Toolkit for Boards of Directors