Pouvons-nous reproduire une analyse stratégique IA six mois plus tard ?

Qu'une analyse assistée par IA puisse être reconstituée six mois plus tard dépend de ce qui a été conservé le jour de la validation. Ce guide présente les sept artefacts qui composent un dossier de reproductibilité, un test de reconstruction à froid de quinze minutes et les questions à poser au fournisseur avant d'acheter.

Oui : une analyse stratégique assistée par IA peut être reproduite six mois plus tard, mais seulement si le dossier a été conservé le jour où la décision a été prise. La reproductibilité ne réside pas dans la plateforme. Elle réside dans le dossier qui l'entoure : les documents que la plateforme a vus, le cadrage qu'elle a reçu, la version de l'analyse qui a été présentée, les sources derrière chaque chiffre et les noms des personnes qui ont vérifié et approuvé. Si ce dossier n'a pas été constitué, aucune capacité de la plateforme ne permettra de le reconstituer plus tard. Une décision du conseil n'est défendable qu'à la mesure du dossier conservé ce jour-là.

La question arrive généralement sous une forme précise. Un administrateur, un comité d'audit, un comité d'investissement ou un limited partner demande : qu'a exactement vu la plateforme, qu'a-t-elle produit et qui l'a validé ? Chaque partie de cette question correspond à un artefact distinct. Ce que la plateforme a vu, c'est le jeu de sources. Ce qu'elle a produit, c'est une présentation précise et versionnée. Qui l'a validé, c'est un registre de revue nominatif. Une organisation qui ne peut répondre aux trois questions à partir de documents conservés s'appuie sur la mémoire, sur la rotation du personnel et sur l'état de connexion d'un fournisseur, ce qui n'est pas une position défendable.

L'échec de reproductibilité n'est pas un risque marginal. En science, où la reproduction est une norme fondatrice, l'enquête de Nature de 2016 auprès de 1 576 chercheurs a révélé que plus de 70 % avaient tenté sans succès de reproduire les expériences d'un autre scientifique, et que plus de la moitié n'avaient pas réussi à reproduire les leurs.^[1] Si des chercheurs formés, disposant de sections méthodologiques et d'une relecture par les pairs, peinent à reproduire des travaux quelques mois plus tard, une équipe stratégie ne devrait pas supposer que son propre dossier survivra sans effort. L'équivalent en gouvernance est une politique écrite qui précise quel document constitue le dossier officiel d'une décision, afin que la question n'ait pas à être tranchée rétrospectivement.

Ce qui suit est la forme pratique de cette discipline : pourquoi relancer une plateforme n'est pas reproduire, les sept artefacts à conserver à la validation, un test de quinze minutes pour savoir si le dossier fonctionne réellement, les questions à poser à un fournisseur, ainsi que les règles de conservation et les modes de défaillance à éviter.

Une hypothèse fréquente et coûteuse veut que la reproduction soit garantie par la plateforme : si l'analyse est un jour contestée, l'équipe n'a qu'à se connecter et la relancer. Cette hypothèse échoue pour une raison structurelle. Une nouvelle exécution travaille sur les documents d'aujourd'hui, et aujourd'hui n'est pas le jour où le conseil a décidé. Les sources web changent ou disparaissent. Les documents internes sont remplacés par des versions ultérieures, réorganisés dans de nouvelles arborescences ou supprimés. Les modèles et les instructions qui sous-tendent le comportement de la plateforme évoluent au fil des mises à jour des fournisseurs. Une nouvelle exécution produit donc la réponse d'aujourd'hui aux entrées d'aujourd'hui, pas la réponse que le conseil a vue. C'est une nouvelle analyse, pas une reproduction de l'ancienne.

C'est pourquoi le dossier doit figer les entrées, pas seulement la présentation finale. Le PDF de la présentation dit au relecteur quelle était la conclusion. Il ne lui dit pas de quelle version d'un rapport de marché provient le chiffre de revenu, quelle ébauche du modèle de coûts interne a été ingérée, ni ce qui a été demandé à la plateforme. Reproduire exige de pouvoir remonter de la recommandation aux sources exactes telles qu'elles existaient ce jour-là, et ce parcours n'est possible que si les entrées ont été capturées à ce moment.

Il vaut la peine d'être précis sur ce que la réglementation exige et n'exige pas, car le règlement européen sur l'IA est souvent invoqué dans ces conversations. L'article 12 du règlement exige que les systèmes d'IA à haut risque permettent techniquement l'enregistrement automatique des événements (journaux) tout au long de la durée de vie du système, et cette disposition s'applique à partir du 2 décembre 2027 pour les systèmes à haut risque relevant de l'annexe III.^[3][2] Une présentation stratégique interne produite avec une plateforme d'IA n'entre pas dans ce champ. Les obligations de journalisation s'imposent aux fournisseurs et aux déployeurs de systèmes classés à haut risque selon les annexes du règlement ; elles ne constituent pas un régime de conformité pour les analyses destinées au conseil. La conséquence pratique est claire : aucun régulateur ne tient ce dossier à votre place. L'organisation doit tenir le sien.

• Capturez les documents tels qu'ils ont été ingérés, avec leurs dates, car une récupération ultérieure ne peut prouver ce que contenait la précédente.
• Capturez le cadrage, car l'analyse ne peut être jugée qu'au regard de la question qui lui a été posée.
• Capturez la version présentée de la présentation, car la sortie seule ne permet pas de remonter d'un chiffre à sa source.

Le dossier de reproductibilité est la réponse concrète à la question de l'acheteur : un ensemble défini d'artefacts, rassemblé et figé au moment de la validation, qui permet à une personne extérieure à la mission de reconstituer ce que la plateforme a vu, ce qu'elle a produit et qui l'a approuvé. Chaque artefact ci-dessous mérite sa place par ce qui échoue plus tard sans lui. Le niveau d'exigence pour l'ensemble du dossier vient de la norme de gestion documentaire ISO 15489, selon laquelle un document d'archives conserve son autorité grâce à quatre caractéristiques : authenticité, fiabilité, intégrité et exploitabilité.^[5][4]

La version exacte de la présentation exposée

Conservez la version précise de la présentation qui a été soumise au conseil ou au comité, figée pour qu'elle ne puisse pas dériver. Le verrouillage de version par empreinte (hash) ou par un identifiant immuable équivalent est préférable à un nom de fichier, car les noms de fichiers sont modifiés et les copies circulent. Sans cela, une contestation ultérieure commence par un débat insoluble sur les chiffres qui étaient réellement sur la table.

Le jeu de sources figé

Conservez chaque document ingéré par la plateforme et chaque source externe citée, chacun avec sa date de consultation. Sans la date, une citation devient une impasse précisément au moment où elle est nécessaire, car la version consultée ce jour-là ne peut plus être distinguée de ce qui se trouve plus tard au même endroit. Sans le jeu de sources figé, l'analyse devient invérifiable par principe, et pas seulement peu pratique à contrôler.

Le registre du périmètre et du cadrage

Consignez la question réellement posée à la plateforme et les contraintes données : le marché, l'horizon temporel, les hypothèses à maintenir fixes, les options dans et hors périmètre. Les mêmes documents répondent différemment à des questions différentes, de sorte qu'une analyse ne peut être jugée sans savoir ce qu'on lui a demandé. Sans le cadrage, un relecteur ne peut distinguer une erreur d'analyse d'une question formulée autrement.

La correspondance affirmation-source

Pour chaque chiffre déterminant, consignez la source ainsi que la page, le tableau ou la cellule dont il provient. C'est l'artefact qui transforme une citation en preuve : il permet au relecteur de passer du nombre sur la diapositive à l'emplacement exact dans la source telle qu'elle a été consultée. Sans lui, vérifier un seul chiffre revient à refaire l'analyse, ce qui est précisément ce qu'une décision contestée ne peut attendre.

Le registre de revue et de validation

Nommez qui a vérifié quelles affirmations, comment, et qui a approuvé la recommandation. Une revue qui ne peut être attribuée à une personne ne se distingue pas d'une absence de revue. Sans ce registre, l'organisation ne peut démontrer qu'un jugement humain s'est interposé entre la sortie de la plateforme et la décision du conseil.

La note de version de la plateforme et du modèle

Consignez les versions de la plateforme et du modèle qui ont produit l'analyse, ainsi que les limites connues à ce moment-là. La pratique est la même que celle que suivent déjà les standards de documentation des modèles d'apprentissage automatique publiés : indiquer l'usage prévu, l'évaluation et les limites connues. Sans note de version, un relecteur ultérieur ne peut dire si l'analyse est antérieure à une faiblesse connue ou à un changement important de l'outillage.

Ce qui a été exclu ou n'a pas pu être vérifié

Consignez les lacunes connues : les sources qui n'ont pu être confirmées, les données indisponibles, les pistes d'analyse envisagées puis abandonnées. C'est l'artefact le plus souvent omis, parce qu'il donne l'impression d'avouer une faiblesse. C'est en réalité l'inverse : un dossier de décision qui reconnaît ses limites est plus crédible face à une contestation qu'un dossier qui revendique une exhaustivité qu'il ne peut démontrer.

Un dossier qui n'a jamais été testé est une hypothèse, pas un contrôle. Le test de reconstruction à froid est un protocole court et répétable qu'une organisation peut exécuter avant d'acheter une plateforme, avec le matériel d'une mission pilote, puis à nouveau après toute réunion importante. Son but est de savoir si le dossier fonctionne pour quelqu'un sans contexte, ce qui est exactement la position d'un relecteur, d'un auditeur ou d'un administrateur nouvellement nommé six mois plus tard.

1. Remettez le dossier de reproductibilité à un collègue qui n'a pas participé à la mission.
2. Accordez-lui quinze minutes et aucun accès à la plateforme. Le dossier doit se suffire à lui-même.
3. Posez-lui trois questions, auxquelles il doit répondre à partir du seul dossier : quelle était la recommandation et quels étaient ses trois chiffres déterminants ; d'où provient chaque chiffre et quelle date porte cette source ; qui a vérifié les chiffres et qui a validé la recommandation.
4. Notez ce qu'il a pu et n'a pas pu répondre, et le temps qu'il a fallu pour trouver chaque réponse.

La réussite est sans ambiguïté : les trois questions trouvent leur réponse dans le seul dossier, dans les quinze minutes, sans recours aux personnes qui ont mené la mission ni à la plateforme elle-même. Ce critère n'est pas arbitraire. C'est la caractéristique d'exploitabilité de l'ISO 15489 appliquée en pratique, puisque la norme recommande de gérer les documents de sorte qu'ils restent authentiques, fiables, complets, inaltérés et exploitables : un dossier qu'une personne extérieure à la mission ne peut localiser, récupérer et interpréter ne remplit pas sa fonction de dossier, aussi soigneusement qu'il ait été conservé.^[6]

Les échecs sont aussi révélateurs que la réussite, car chacun correspond à un artefact manquant. Des liens de sources morts renvoient à un jeu de sources qui n'a jamais été figé avec des dates de consultation. Une version de présentation incertaine renvoie à un verrouillage de version absent. Un relecteur qui ne peut être nommé renvoie à un registre de validation absent. Une analyse qui ne peut être jugée au regard de sa question renvoie à un cadrage jamais consigné. Exécuter le test avant l'achat vous dit si les exports d'un fournisseur peuvent seulement soutenir un dossier ; l'exécuter après la réunion vous dit si votre propre discipline a tenu.

La diligence sur la reproductibilité auprès d'un fournisseur se résume à la capacité d'export, et il vaut la peine de poser les questions sous une forme qui produit des réponses vérifiables plutôt que des assurances. Les questions centrales sont de savoir si la plateforme exporte le jeu de sources, l'historique des versions et la correspondance des citations ; sous quel format ces exports arrivent ; et si les exports survivent à la résiliation du contrat. La dernière est celle qu'on oublie le plus souvent de poser et la plus coûteuse à avoir omise : une archive qui meurt avec le compte utilisateur n'est pas une archive, car dès que l'abonnement expire ou que la relation avec le fournisseur prend fin, le dossier sur lequel l'organisation s'appuie peut cesser d'exister sous une forme récupérable.

• La plateforme peut-elle exporter le jeu de sources complet, y compris les documents ingérés et les sources externes citées, avec les dates de consultation ?
• Peut-elle exporter l'historique des versions d'une présentation, afin que la version exposée puisse être distinguée des modifications ultérieures ?
• Peut-elle exporter la correspondance des citations ou affirmation-source, reliant chaque chiffre à sa source et à son emplacement ?
• Sous quel format ces exports sont-ils livrés, et peuvent-ils être lus sans le logiciel du fournisseur ?
• Les exports restent-ils accessibles après la résiliation du contrat, et que dit l'accord sur le sort des données ?

Le précédent en matière de documentation est bien connu de l'industrie du logiciel. Les model cards, proposées par Mitchell et ses collègues, sont de courts documents qui accompagnent les modèles entraînés et en révèlent l'usage prévu, les conditions d'évaluation et les limites.^[7] Une plateforme de stratégie qui exporte ses sources, ses versions et ses citations offre le même type de transparence un niveau plus haut, au niveau de l'analyse plutôt que du modèle.

Une précaution garde cette section honnête : la capacité d'export est une question commerciale à poser, pas une garantie de conformité à présumer. Aucune exigence réglementaire n'oblige un fournisseur à préserver votre dossier, de sorte que les questions contractuelles et pratiques ci-dessus sont la seule protection.

Le test pratique ramène cette section au protocole ci-dessus : menez une mission pilote, demandez les exports dans le cadre du pilote et soumettez le matériel exporté au test de reconstruction à froid avant de signer. Une démonstration du fournisseur montre ce que la plateforme peut produire ; le test montre si ce qu'elle produit peut être reconstitué par un inconnu disposant de quinze minutes et d'aucun accès.

Conservez le dossier aussi longtemps que la décision peut être réexaminée, et alignez cette durée sur la politique de conservation des documents que l'organisation applique déjà aux dossiers du conseil, plutôt que d'inventer un nouveau calendrier pour le travail assisté par IA. Le point de référence dont disposent déjà la plupart des organisations est légal : en vertu de la section 248 du Companies Act 2006, toute société britannique doit faire consigner les procès-verbaux de toutes les délibérations des réunions de ses administrateurs, et ces documents doivent être conservés au moins dix ans à compter de la date de la réunion.^[8] Une analyse stratégique qui a nourri une décision du conseil a naturellement sa place aux côtés de ces documents, sous la même discipline de conservation. La tâche de gouvernance associée consiste à préciser dans une politique écrite quel document tient lieu de dossier officiel de la décision. Aucune durée de conservation précise n'est proposée ici au-delà de cet alignement, car la bonne durée dépend de la politique propre de l'organisation et des juridictions dont elle relève.

Trois défaillances expliquent la plupart des lacunes de reproductibilité que cet article vise à prévenir, et chacune peut être évitée à un coût négligeable si elle est détectée tôt.

• Ne conserver que le PDF de la présentation. Le PDF capture la sortie et rien d'autre : ni jeu de sources, ni cadrage, ni correspondance affirmation-source, ni registre de validation. C'est l'artefact qui a le plus de chances d'exister et le moins capable de répondre seul à la question de l'acheteur.
• S'appuyer sur le compte de la plateforme comme archive. Un compte donne accès à un système vivant, ce n'est pas le dossier d'un système passé. Les sources changent, les versions sont remplacées, les contrats prennent fin, et lorsque cela arrive, le compte ne répond à aucune des questions qu'il était censé résoudre.
• Reconstituer le dossier après qu'une contestation a été soulevée. Un dossier assemblé sous pression se lit comme une justification a posteriori plutôt que comme une preuve, et personne ne peut vérifier que le jeu de sources reconstitué correspond à ce que la plateforme a réellement vu. Le dossier n'a de valeur que s'il a été constitué avant d'être nécessaire.

Decisity est une plateforme de conseil en stratégie nativement conçue pour l'IA. Ses présentations relient chaque affirmation, chaque chiffre et chaque recommandation à sa source en un clic, et son jeu de sources ainsi que son historique des versions peuvent être exportés. Dans les termes de cet article, la plateforme génère une grande partie du dossier de reproductibilité comme sous-produit du travail : la correspondance affirmation-source existe parce que chaque affirmation est reliée à son origine, et le jeu de sources figé et l'historique des versions existent parce qu'ils peuvent être exportés à la validation. Le dossier devient donc une courte tâche d'assemblage à la validation plutôt qu'une fouille six mois plus tard.

La plateforme ne dispense pas l'organisation de son devoir de tenir le dossier. Le cadrage doit toujours être consigné, les relecteurs toujours nommés, les exclusions toujours déclarées et le dossier toujours conservé selon la politique propre de l'organisation. Ce que la plateforme supprime, c'est le travail manuel d'assemblage des éléments qu'elle touche, et le test de reconstruction à froid s'applique toujours au résultat. Une analyse stratégique mérite le même niveau d'autodescription que celui que portent déjà les modèles d'apprentissage automatique documentés, et l'organisation qui l'exige, de tout fournisseur, est celle qui saura répondre à la question du conseil six mois plus tard.

Lectures associées :

• Combien de relecture humaine pour une présentation stratégique IA ?
• Présenter une analyse stratégique assistée par IA à un conseil sceptique

• Nature: 1,500 scientists lift the lid on reproducibility (Baker, 2016)
• EU Artificial Intelligence Act: Article 12, Record-Keeping
• EUR-Lex: Regulation (EU) 2024/1689 (Artificial Intelligence Act)
• Digital Curation Centre: ISO 15489 (Standards Watch briefing paper)
• Kastenhofer, Archives and Manuscripts: The logic of archival authenticity: ISO 15489 and the varieties of forgeries in archives (2015)
• International Council on Archives: Principles and Functional Requirements for Records in Electronic Office Environments, Module 2
• Mitchell et al.: Model Cards for Model Reporting (arXiv, 2018)
• legislation.gov.uk: Companies Act 2006, section 248, Minutes of directors' meetings