Possiamo riprodurre un'analisi strategica IA sei mesi dopo?

Che un'analisi assistita dall'IA possa essere ricostruita sei mesi dopo dipende da ciò che è stato conservato il giorno dell'approvazione. Questa guida illustra i sette artefatti che compongono un pacchetto di riproducibilità, un test di ricostruzione a freddo di quindici minuti e le domande da porre al fornitore prima di acquistare.

Sì: un'analisi strategica assistita dall'IA può essere riprodotta sei mesi dopo, ma solo se il registro è stato conservato il giorno in cui la decisione è stata presa. La riproducibilità non risiede nella piattaforma. Risiede nel registro che la circonda: i documenti che la piattaforma ha visto, il brief che ha ricevuto, la versione dell'analisi che è stata presentata, le fonti dietro ogni cifra e i nomi delle persone che l'hanno verificata e approvata. Se quel registro non è stato conservato, nessuna capacità della piattaforma potrà ricostruirlo in seguito. Una decisione del consiglio è difendibile solo quanto il registro conservato quel giorno.

La domanda arriva di solito in una forma precisa. Un consigliere, un comitato di audit, un comitato investimenti o un limited partner chiede: che cosa ha visto esattamente la piattaforma, che cosa ha prodotto e chi l'ha approvato? Ogni parte di questa domanda corrisponde a un artefatto distinto. Ciò che la piattaforma ha visto è l'insieme delle fonti. Ciò che ha prodotto è una presentazione specifica e versionata. Chi l'ha approvato è un registro di revisione con nomi. Un'organizzazione che non può rispondere a tutte e tre le domande a partire da documenti conservati si affida alla memoria, al turnover del personale e allo stato di accesso di un fornitore, e questa non è una posizione difendibile.

Il fallimento della riproducibilità non è un rischio di nicchia. Nella scienza, dove la riproduzione è una norma fondante, il sondaggio di Nature del 2016 su 1.576 ricercatori ha rilevato che oltre il 70 % aveva tentato senza successo di riprodurre gli esperimenti di un altro scienziato, e più della metà non era riuscita a riprodurre i propri.^[1] Se ricercatori formati, con sezioni metodologiche e revisione paritaria, faticano a riprodurre un lavoro mesi dopo, un team di strategia non dovrebbe presumere che il proprio registro sopravviva senza sforzo. L'equivalente in termini di governance è una politica scritta che stabilisca quale documento sia il registro ufficiale di una decisione, così che la questione non debba essere risolta retrospettivamente.

Quanto segue è la forma pratica di questa disciplina: perché rieseguire una piattaforma non è riprodurre, i sette artefatti da conservare all'approvazione, un test di quindici minuti per capire se il registro funziona davvero, le domande da porre a un fornitore, e le regole di conservazione e le modalità di errore da evitare.

Un presupposto comune e costoso è che la riproduzione sia garantita dalla piattaforma: se l'analisi venisse mai messa in discussione, il team potrebbe semplicemente accedere ed eseguirla di nuovo. Questo presupposto fallisce per una ragione strutturale. Una nuova esecuzione lavora sui documenti di oggi, e oggi non è il giorno in cui il consiglio ha deciso. Le fonti web cambiano o scompaiono. I documenti interni vengono sostituiti da versioni successive, riorganizzati in nuove strutture di cartelle o eliminati. I modelli e i prompt alla base del comportamento della piattaforma cambiano man mano che i fornitori rilasciano aggiornamenti. Una nuova esecuzione produce quindi la risposta di oggi agli input di oggi, non la risposta che il consiglio ha visto. È un'analisi nuova, non una riproduzione di quella vecchia.

Per questo il registro deve congelare gli input, non solo la presentazione finale. Il PDF della presentazione dice a un revisore quale fosse la conclusione. Non gli dice da quale versione di un rapporto di mercato provenga la cifra dei ricavi, quale bozza del modello di costi interno sia stata acquisita, né che cosa sia stato chiesto alla piattaforma. La riproduzione richiede la capacità di risalire dalla raccomandazione alle fonti esatte così come esistevano quel giorno, e quel percorso è possibile solo se gli input sono stati catturati al momento.

Vale la pena essere precisi su ciò che la normativa richiede e non richiede, perché l'AI Act europeo viene spesso invocato in queste conversazioni. L'articolo 12 del regolamento richiede che i sistemi di IA ad alto rischio consentano tecnicamente la registrazione automatica degli eventi (log) per tutta la durata di vita del sistema, e tale disposizione si applica dal 2 dicembre 2027 ai sistemi ad alto rischio di cui all'allegato III.^[3][2] Una presentazione strategica interna prodotta con una piattaforma di IA non rientra in quell'ambito. Gli obblighi di registrazione vincolano fornitori e deployer di sistemi classificati ad alto rischio secondo gli allegati del regolamento; non sono un regime di conformità per le analisi destinate al consiglio. L'implicazione pratica è chiara: nessun regolatore tiene questo registro al posto vostro. L'organizzazione deve tenere il proprio.

• Catturate i documenti così come sono stati acquisiti, con le date, perché un recupero successivo non può dimostrare che cosa contenesse quello precedente.
• Catturate il brief, perché l'analisi può essere giudicata solo rispetto alla domanda che le è stata posta.
• Catturate la versione presentata della presentazione, perché l'output da solo non permette di risalire da una cifra alla sua fonte.

Il pacchetto di riproducibilità è la risposta concreta alla domanda dell'acquirente: un insieme definito di artefatti, assemblato e congelato al momento dell'approvazione, che consente a una persona esterna all'incarico di ricostruire che cosa ha visto la piattaforma, che cosa ha prodotto e chi l'ha approvato. Ogni artefatto qui sotto si guadagna il posto per ciò che fallisce in seguito senza di esso. Il livello di qualità per il pacchetto nel suo insieme deriva dalla norma di gestione documentale ISO 15489, secondo cui un documento resta autorevole grazie a quattro caratteristiche: autenticità, affidabilità, integrità e usabilità.^[5][4]

La versione esatta della presentazione esposta

Conservate la versione precisa della presentazione che è stata sottoposta al consiglio o al comitato, congelata in modo che non possa deviare. Il blocco di versione tramite hash o un identificatore immutabile equivalente è preferibile a un nome di file, perché i nomi di file vengono modificati e le copie circolano. Senza di questo, una contestazione successiva comincia con una disputa irrisolvibile su quali cifre fossero effettivamente sul tavolo.

L'insieme di fonti congelato

Conservate ogni documento acquisito dalla piattaforma e ogni fonte esterna citata, ciascuno con la data di consultazione. Senza la data, una citazione degrada in un vicolo cieco proprio quando serve, perché la versione consultata quel giorno non può più essere distinta da ciò che si trova in seguito a quell'indirizzo. Senza l'insieme di fonti congelato, l'analisi diventa inverificabile per principio, non solo scomoda da controllare.

Il registro dell'ambito e del brief

Registrate la domanda effettivamente posta alla piattaforma e i vincoli dati: il mercato, l'orizzonte temporale, le ipotesi da mantenere fisse, le opzioni dentro e fuori dall'ambito. Gli stessi documenti rispondono in modo diverso a domande diverse, quindi un'analisi non può essere giudicata senza sapere che cosa le è stato chiesto. Senza il brief, un revisore non può distinguere un errore analitico da una domanda formulata diversamente.

La mappa affermazione-fonte

Per ogni cifra portante, registrate la fonte e la pagina, la tabella o la cella da cui proviene. È l'artefatto che trasforma una citazione in prova: consente a un revisore di passare dal numero sulla slide alla posizione esatta nella fonte così come consultata. Senza di esso, verificare una singola cifra significa rifare l'analisi, che è l'unica cosa che una decisione contestata non può aspettare.

Il registro di revisione e approvazione

Indicate chi ha verificato quali affermazioni, come le ha verificate e chi ha approvato la raccomandazione. Una revisione che non può essere attribuita a una persona è indistinguibile dall'assenza di revisione. Senza questo registro, l'organizzazione non può dimostrare che un giudizio umano si sia interposto tra l'output della piattaforma e la decisione del consiglio.

La nota di versione della piattaforma e del modello

Registrate quali versioni della piattaforma e del modello hanno prodotto l'analisi, e le limitazioni note al momento. La pratica è la stessa che gli standard di documentazione per i modelli di machine learning rilasciati già seguono: dichiarare l'uso previsto, la valutazione e i limiti noti. Senza una nota di versione, un revisore successivo non può capire se l'analisi preceda una debolezza nota o un cambiamento sostanziale degli strumenti.

Ciò che è stato escluso o non ha potuto essere verificato

Registrate le lacune note: fonti che non è stato possibile confermare, dati non disponibili, linee di analisi considerate e scartate. È l'artefatto che più spesso viene omesso, perché sembra un'ammissione di debolezza. In realtà è il contrario: un registro decisionale che riconosce i propri limiti è più credibile sotto contestazione di uno che rivendica una completezza che non può dimostrare.

Un pacchetto che non è mai stato testato è un'ipotesi, non un controllo. Il test di ricostruzione a freddo è un protocollo breve e ripetibile che un'organizzazione può eseguire prima di acquistare una piattaforma, con il materiale di un incarico pilota, e di nuovo dopo ogni riunione significativa. Il suo scopo è scoprire se il registro funziona per qualcuno senza contesto, che è esattamente la posizione di un revisore, di un auditor o di un consigliere appena nominato sei mesi dopo.

1. Consegnate il pacchetto di riproducibilità a un collega che non è stato coinvolto nell'incarico.
2. Concedetegli quindici minuti e nessun accesso alla piattaforma. Il pacchetto deve reggersi da solo.
3. Ponetegli tre domande, a cui rispondere con il solo pacchetto: qual era la raccomandazione e quali le sue tre cifre portanti; da dove proviene ogni cifra e quale data porta quella fonte; chi ha verificato le cifre e chi ha approvato la raccomandazione.
4. Registrate a che cosa ha saputo rispondere e a che cosa no, e quanto tempo ha richiesto trovare ogni risposta.

Il superamento è inequivocabile: tutte e tre le domande trovano risposta nel solo pacchetto, entro i quindici minuti, senza ricorrere alle persone che hanno condotto l'incarico né alla piattaforma stessa. Questo criterio non è arbitrario. È la caratteristica di usabilità della ISO 15489 applicata nella pratica, poiché l'indicazione della norma è che i documenti siano gestiti in modo da restare autentici, affidabili, completi, inalterati e utilizzabili: un registro che una persona esterna all'incarico non può localizzare, recuperare e interpretare non sta svolgendo la funzione di registro, per quanto accuratamente sia stato archiviato.^[6]

I fallimenti sono tanto diagnostici quanto il superamento, perché ciascuno corrisponde a un artefatto mancante. Link alle fonti non funzionanti indicano un insieme di fonti mai congelato con date di consultazione. Una versione della presentazione poco chiara indica un blocco di versione mancante. Un revisore che non può essere nominato indica un registro di approvazione mancante. Un'analisi che non può essere giudicata rispetto alla sua domanda indica un brief mai messo per iscritto. Eseguire il test prima dell'acquisto vi dice se le esportazioni di un fornitore possono anche solo sostenere un pacchetto; eseguirlo dopo la riunione vi dice se la vostra disciplina ha tenuto.

La due diligence sulla riproducibilità presso un fornitore si riduce alla capacità di esportazione, e vale la pena porre le domande in una forma che produca risposte verificabili anziché rassicurazioni. Le domande centrali sono se la piattaforma esporta l'insieme delle fonti, la cronologia delle versioni e la mappa delle citazioni; in quale formato arrivano queste esportazioni; e se le esportazioni sopravvivono alla cessazione del contratto. L'ultima è quella che più spesso resta senza essere posta e la più costosa da aver saltato: un archivio che muore con l'account non è un archivio, perché nel momento in cui l'abbonamento scade o il rapporto con il fornitore termina, il registro su cui l'organizzazione fa affidamento può cessare di esistere in qualsiasi forma recuperabile.

• La piattaforma può esportare l'insieme completo delle fonti, inclusi i documenti acquisiti e le fonti esterne citate, con le date di consultazione?
• Può esportare la cronologia delle versioni di una presentazione, in modo che la versione esposta possa essere distinta dalle modifiche successive?
• Può esportare la mappa delle citazioni o affermazione-fonte, che collega ogni cifra alla sua fonte e alla sua posizione?
• In quale formato vengono consegnate queste esportazioni, e possono essere lette senza il software del fornitore?
• Le esportazioni restano accessibili dopo la cessazione del contratto, e che cosa dice l'accordo su ciò che accade ai dati?

Il precedente documentale è uno che l'industria del software già conosce. Le model card, proposte da Mitchell e colleghi, sono brevi documenti che accompagnano i modelli addestrati e ne dichiarano l'uso previsto, le condizioni di valutazione e le limitazioni.^[7] Una piattaforma di strategia che esporta le proprie fonti, versioni e citazioni offre lo stesso tipo di trasparenza un livello più in alto, al livello dell'analisi anziché del modello.

Una cautela mantiene onesta questa sezione: la capacità di esportazione è una questione commerciale da porre, non una garanzia di conformità da presumere. Nessun requisito normativo obbliga un fornitore a preservare il vostro registro, quindi le domande contrattuali e pratiche qui sopra sono l'unica protezione.

Il test pratico riporta questa sezione al protocollo precedente: eseguite un incarico pilota, richiedete le esportazioni come parte del pilota e sottoponete il materiale esportato al test di ricostruzione a freddo prima di firmare. Una dimostrazione del fornitore mostra ciò che la piattaforma può produrre; il test mostra se ciò che produce può essere ricostruito da un estraneo con quindici minuti e senza accesso.

Conservate il pacchetto per tutto il tempo in cui la decisione può essere riesaminata, e allineate quel periodo alla politica di conservazione dei documenti che l'organizzazione già applica ai documenti del consiglio, invece di inventare un nuovo calendario per il lavoro assistito dall'IA. Il punto di riferimento che la maggior parte delle organizzazioni già possiede è di legge: ai sensi della sezione 248 del Companies Act 2006, ogni società del Regno Unito deve far redigere i verbali di tutte le deliberazioni nelle riunioni dei propri amministratori, e tali registri devono essere conservati per almeno dieci anni dalla data della riunione.^[8] Un'analisi strategica che ha alimentato una decisione del consiglio trova la sua collocazione naturale accanto a quei documenti, sotto la stessa disciplina di conservazione. Il compito di governance collegato è stabilire in una politica scritta quale documento conti come registro ufficiale della decisione. Qui non viene proposto alcun periodo di conservazione specifico oltre a questo allineamento, perché il periodo corretto dipende dalla politica propria dell'organizzazione e dalle giurisdizioni a cui risponde.

Tre errori spiegano la maggior parte delle lacune di riproducibilità che questo articolo intende prevenire, e ciascuno è evitabile a un costo trascurabile se individuato per tempo.

• Conservare solo il PDF della presentazione. Il PDF cattura l'output e nient'altro: nessun insieme di fonti, nessun brief, nessuna mappa affermazione-fonte, nessun registro di approvazione. È l'artefatto che più probabilmente esiste e il meno in grado di rispondere da solo alla domanda dell'acquirente.
• Affidarsi all'account della piattaforma come archivio. Un account è l'accesso a un sistema vivo, non il registro di uno passato. Le fonti cambiano, le versioni vengono sostituite, i contratti terminano, e quando ciò accade l'account non risponde a nessuna delle domande a cui si presumeva rispondesse.
• Ricostruire il registro dopo che è stata sollevata una contestazione. Un registro assemblato sotto pressione si legge come una giustificazione a posteriori anziché come prova, e nessuno può verificare che l'insieme di fonti ricostruito corrisponda a ciò che la piattaforma ha effettivamente visto. Il registro ha valore solo se è stato conservato prima che servisse.

Decisity è una piattaforma di consulenza strategica nativa per l'IA. Le sue presentazioni portano ogni affermazione, cifra e raccomandazione collegata con un clic alla propria fonte, e il suo insieme di fonti e la sua cronologia delle versioni possono essere esportati. Nei termini di questo articolo, la piattaforma genera gran parte del pacchetto di riproducibilità come sottoprodotto del lavoro: la mappa affermazione-fonte esiste perché ogni affermazione è collegata alla propria origine, e l'insieme di fonti congelato e la cronologia delle versioni esistono perché possono essere esportati all'approvazione. Il pacchetto è quindi un breve compito di assemblaggio all'approvazione anziché uno scavo sei mesi dopo.

La piattaforma non elimina il dovere dell'organizzazione di tenere il registro. Il brief deve ancora essere messo per iscritto, i revisori devono ancora essere nominati, le esclusioni devono ancora essere dichiarate e il pacchetto deve ancora essere conservato secondo la politica propria dell'organizzazione. Ciò che la piattaforma elimina è il lavoro manuale di assemblare le parti che tocca, e il test di ricostruzione a freddo si applica comunque al risultato. Un'analisi strategica merita lo stesso standard di autodescrizione che i modelli di machine learning documentati già portano, e l'organizzazione che lo esige, da qualsiasi fornitore, è quella che può rispondere alla domanda del consiglio sei mesi dopo.

Letture correlate:

• Quanta revisione umana serve a una presentazione strategica IA?
• Presentare un'analisi strategica assistita dall'IA a un consiglio scettico

• Nature: 1,500 scientists lift the lid on reproducibility (Baker, 2016)
• EU Artificial Intelligence Act: Article 12, Record-Keeping
• EUR-Lex: Regulation (EU) 2024/1689 (Artificial Intelligence Act)
• Digital Curation Centre: ISO 15489 (Standards Watch briefing paper)
• Kastenhofer, Archives and Manuscripts: The logic of archival authenticity: ISO 15489 and the varieties of forgeries in archives (2015)
• International Council on Archives: Principles and Functional Requirements for Records in Electronic Office Environments, Module 2
• Mitchell et al.: Model Cards for Model Reporting (arXiv, 2018)
• legislation.gov.uk: Companies Act 2006, section 248, Minutes of directors' meetings