Come verificare una presentazione strategica generata dall'IA

Un protocollo operativo per rivedere una presentazione strategica redatta dall'IA prima che arrivi in consiglio o al comitato investimenti: che cosa controllare e in quale ordine, le cinque distorsioni da cercare in ogni cifra e come trattare le affermazioni che non si possono verificare.

Una bozza grezza invita all'esame. La prosa inciampa, le cifre sembrano provvisorie e chi legge si chiede spontaneamente se l'analisi regga. Una presentazione fluida fa l'opposto: risponde alle domande prima che vengano poste. Le frasi sono complete, i passaggi scorrevoli e le citazioni compaiono esattamente dove le collocherebbe un analista scrupoloso. Proprio questa levigatezza rende la revisione insidiosa, perché l'istinto di chi rivede, tarato sul lavoro umano, porta a fidarsi di ciò che si legge bene. La fluidità non è prova di esattezza, ma attenua in modo affidabile l'esame che l'esattezza richiede.

La confabulazione è il modo di guasto che ha un nome

Il modo di guasto ha un nome formale. Il National Institute of Standards and Technology statunitense, nel suo Generative AI Profile (NIST AI 600-1, luglio 2024), descrive la confabulazione come il fenomeno per cui i sistemi generativi producono e presentano con sicurezza contenuti errati o falsi in risposta a una richiesta, comunemente detti allucinazioni o fabbricazioni.^[1] Lo stesso documento formula due osservazioni direttamente rilevanti per chi rivede una presentazione redatta dall'IA. La prima: gli output generativi possono contenere ragionamenti o citazioni confabulati che sembrano giustificare o spiegare la risposta del sistema, inducendo le persone a riporvi una fiducia inappropriata. La seconda: il NIST elenca il bias di automazione e l'eccessivo affidamento tra i rischi che nascono dal modo in cui persone e sistemi di IA vengono combinati: più la tecnologia appare affidabile, meno viene messa in discussione.

Nessuna delle due osservazioni è un argomento contro l'uso dell'IA nel lavoro strategico. Sono un argomento a favore di una precisa postura di revisione. Se il modo di guasto è l'errore sicuro di sé e dall'aspetto ben documentato, chi rivede non può affidarsi all'istinto che funziona con le bozze umane, cioè sondare dove la scrittura è debole. Bisogna sondare dove la scrittura è solida.

• La fluidità attenua l'esame: una presentazione levigata sopprime le domande che una bozza grezza provoca.
• La confabulazione è il modo di guasto con un nome: contenuti errati o falsi affermati con sicurezza, comprese giustificazioni e citazioni fabbricate.
• Una revisione a impressione non basta quindi: la verifica deve essere procedurale, una sequenza fissa di controlli eseguita sempre allo stesso modo, non un giudizio su come si legge la presentazione.

Il resto dell'articolo espone quella procedura. È scritto come un protocollo applicabile oggi a una presentazione già esistente: classificare le affermazioni, aprire ogni fonte citata, confrontare la frase, dare un nome alla distorsione, decidere su ciò che non si può verificare e registrare chi ha firmato.

Il primo compito è separare due tipi di enunciato che su una slide appaiono identici. Un'affermazione attribuibile ha alle spalle un documento reale, individuato e apribile: una pubblicazione precisa, di un'organizzazione precisa, che chi rivede può reperire e leggere. La prosa dal sapore di fonte si limita a prendere in prestito il registro della citazione. Cita istituzioni plausibili, anni plausibili e attribuzioni plausibili, nella grammatica dell'evidenza, senza che dall'altra parte si apra alcun documento. Sulla slide le due sono indistinguibili. Entrambe si leggono come documentate. Solo una sopravvive a un clic.

La prosa dal sapore di fonte sopravvive a una lettura rapida perché è costruita per farlo. I modelli generativi sono addestrati su testi in cui alle affermazioni seguono attribuzioni, quindi il loro output riproduce con scioltezza la forma dell'attribuzione, che dietro esista un documento oppure no. Non è una preoccupazione teorica. La redazione di Nature ha riferito che citazioni allucinate, riferimenti generati dall'IA che non corrispondono ad alcuna pubblicazione reale, stanno comparendo nella letteratura scientifica pubblicata,^[2] e una verifica di 111 milioni di riferimenti su 2,5 milioni di lavori in arXiv, bioRxiv, SSRN e PubMed Central ha rilevato un forte aumento di riferimenti inesistenti dopo l'adozione diffusa dei grandi modelli linguistici.^[3] La letteratura scientifica è il canarino nella miniera: gli autori della verifica osservano che la moderazione dei preprint e i processi editoriali delle riviste intercettano solo una frazione di questi errori.

La conclusione pratica per chi rivede è netta. Non esiste alcun criterio affidabile per distinguere le due categorie se non aprire la fonte. Rileggere la frase non aiuta. Chiedersi se l'attribuzione suoni giusta nemmeno, perché la plausibilità è esattamente ciò per cui la prosa è ottimizzata. La prova è meccanica: per ogni affermazione portante, reperire il documento, aprirlo e confermare che dica ciò che la slide sostiene. Le sezioni tre e quattro descrivono in dettaglio quel confronto.

Il cuore del protocollo è un confronto affiancato, condotto un'affermazione alla volta. Per ogni affermazione portante della presentazione: aprire la fonte citata, individuare il passaggio su cui poggia e leggere la formulazione della fonte accanto a quella della slide. Non il tema contro il tema, ma la frase contro la frase. La maggior parte delle distorsioni nelle presentazioni redatte dall'IA vive a livello di frase, nello spazio fra ciò che una fonte afferma e ciò che una sintesi di quella fonte lascia intendere. Un confronto per paragrafo o per tema non le intercetta.

L'ordine di triage che mantiene finito il passaggio

Una presentazione completa contiene più affermazioni di quante chiunque possa verificare in un pomeriggio, quindi il passaggio ha bisogno di un ordine. Procedete su tre livelli:

1. Prima le cifre. Ogni grandezza che regge l'argomentazione: dimensioni di mercato, capacità, percentuali, tassi di crescita, date associate a quantità. Sono le affermazioni che un consiglio ripeterà e quelle in cui una sola parola cambiata sposta il significato in silenzio.
2. Poi le attribuzioni. Ogni affermazione che accredita un risultato a un'istituzione, un autore o uno studio con un nome. Verificate che la parte citata esista, che la fonte le attribuisca quel risultato e che sia caratterizzata correttamente.
3. Il racconto per ultimo. Le catene causali e i giudizi qualitativi: che A abbia portato a B, che un mercato si stia consolidando, che una capacità sia un elemento distintivo. Sono più difficili da falsificare e più tenui nelle conseguenze, quindi vengono dopo ciò che si controlla alla lettera.

Quando la fonte è a pagamento, non disponibile o inesistente

Aprendo una citazione possono accadere tre cose. La fonte è accessibile e il confronto può avvenire. La fonte è reale ma inaccessibile: a pagamento, non in linea, o disponibile solo in una versione che chi rivede non può leggere nel tempo a disposizione. Oppure la fonte non esiste nel punto indicato, o non esiste affatto. Trattate i casi in modo diverso. Una fonte inaccessibile è un problema di tempi: l'affermazione resta nella presentazione solo se qualcuno con accesso esegue il confronto, altrimenti viene declassata a ipotesi nel frattempo. Una fonte inesistente non è un problema di tempi. L'affermazione non ha alcun sostegno e passa alla fase decisionale descritta più avanti. Ciò che chi rivede non deve mai fare è lasciare in piedi una citazione non aperta perché l'attribuzione suonava credibile. È esattamente il guasto che il protocollo esiste per impedire.

La fase di confronto si impara meglio su un caso reale, e una fonte pubblicata lo illustra per intero. La Federal Reserve Bank of Dallas, scrivendo della tempesta invernale in Texas del febbraio 2021 e del suo effetto sull'industria petrolchimica, afferma: 'As much as 80 percent of U.S. basic organic chemicals capacity was offline after the storm, and up to 60 percent was still offline in mid-March.' In italiano: fino all'80 per cento della capacità statunitense di prodotti chimici organici di base era ferma dopo la tempesta, e a metà marzo lo era ancora fino al 60 per cento. La stessa frase attribuisce quelle cifre a stime di Wood Mackenzie, una società di consulenza del settore energetico, e aggiunge che la capacità è stata in larga parte ripristinata entro aprile.^[4] Una bozza che sintetizzava quella fonte ha reso la prima metà così: 'roughly 80 percent of basic organic chemical capacity across the region', cioè circa l'80 per cento della capacità di prodotti chimici organici di base nella regione.

La frase della bozza si legge perfettamente. È grammaticale, è vicina alla fonte e nulla al suo interno appare sbagliato. Contiene due distorsioni, e chi ha imparato a dar loro un nome le trova entrambe in meno di un minuto.

Prima lo slittamento di ambito. La Dallas Fed descrive capacità negli Stati Uniti e può farlo in modo credibile perché il solo Texas ne concentra la larga maggioranza. La bozza trasforma quella cifra nazionale in regionale. A seconda della regione che chi legge immagina, la cifra descrive ora una popolazione diversa da quella descritta dalla fonte, e l'argomentazione della slide può poggiare sulla lettura regionale. Lo slittamento di limite è più sottile e, davanti a un consiglio, più gravido di conseguenze. 'As much as 80 percent' è un limite superiore: il caso peggiore, il massimo raggiunto dalla capacità ferma. 'Roughly 80 percent' è una stima centrale: il valore tipico, la cifra su cui si pianifica. Presentare un caso peggiore come stima centrale fa leggere uno scenario negativo come quello atteso, ed è esattamente l'ottimismo silenzioso che un consiglio non dovrebbe assorbire senza saperlo.

Notate in che cosa è consistito il controllo. Nessuna tecnica forense, nessun test statistico. Chi rivedeva ha aperto il documento citato, ha trovato la frase e ha confrontato la formulazione. Ogni distorsione di questo esempio era visibile in quel confronto, e nessuna lo era nella sola frase della bozza.

L'esempio ha mostrato due delle cinque distorsioni ricorrenti. Insieme formano l'elenco che chi rivede applica a ogni cifra portante: ambito, limite, periodo, unità e attribuzione. Ciascuna è una singola dimensione lungo la quale una sintesi può allontanarsi dalla fonte mentre la frase continua a leggersi pulita.

Tre di esse meritano un'illustrazione oltre la tabella. Una distorsione di periodo si verifica quando una cifra legata a un periodo preciso, un singolo trimestre o un dato mese, viene ripresa senza quell'ancoraggio, così che un'istantanea diventa una tendenza nella mente di chi legge. Una distorsione di unità si verifica quando la grandezza misurata cambia natura nella sintesi: la capacità diventa produzione, una quota su una base diventa quota su un'altra, uno stock diventa un flusso. Una distorsione di attribuzione si verifica quando la sintesi accredita a un'istituzione una cifra che la fonte attribuisce altrove, oppure presenta il ruolo della fonte in modo più forte di quanto faccia la fonte stessa, per esempio trasformando una stima di settore in una statistica ufficiale.

Ricordate infine che le distorsioni viaggiano insieme. L'esempio ne portava due in una sola proposizione, e nulla impedisce a una riscrittura di portarne tre. Per questo il controllo è un confronto di frasi e non un'occhiata cifra per cifra: un confronto può far emergere più guasti insieme, mentre un'occhiata coglierà solo il primo.

Alcune affermazioni non supereranno il passaggio: la fonte non esiste, dice altro, oppure non si riesce ad aprirla in tempo. Per ciascuna esistono esattamente tre decisioni difendibili, e chi rivede dovrebbe sceglierle deliberatamente anziché per inerzia.

• Rimuovere l'affermazione. Se non regge da sola l'argomentazione, la decisione più pulita è cancellarla. La presentazione prosegue su ciò che ha superato il controllo.
• Segnalarla come ipotesi. Se l'argomentazione ne ha bisogno, riformulatela esplicitamente come ipotesi nella presentazione, visibile come tale al pubblico, e riportatela nel registro delle ipotesi descritto sotto.
• Ri-documentarla. Se un documento che chi rivede ha aperto sostiene l'affermazione, sostituite citazione e formulazione con ciò che quel documento dice davvero e aggiungete la nuova fonte al fascicolo di verifica.

Perché la vaghezza non è sicurezza

La decisione a cui resistere è la quarta, quella che viene in mente a chiunque abbia fretta: attenuare. Una cifra non verificabile viene riscritta come 'significativa', 'sostanziale' o 'una quota rilevante', e la slide ora si legge come prosa sicura senza nulla da controllare. È la trappola dell'attenuazione. La vaghezza non è un'affermazione ridotta, è un'affermazione incontrollabile, e in una presentazione si legge come sapere consolidato anziché come l'incertezza che nasconde. Un consigliere che sonda un'affermazione vaga non trova nulla da sondare, ed è proprio questo il problema. Se una cifra non si può verificare, le presentazioni oneste sono la rimozione o l'ipotesi esplicita, non un sinonimo.

Il registro delle ipotesi rende praticabile la seconda decisione. È un unico elenco, tenuto aggiornato, di ogni affermazione della presentazione che sta come ipotesi e non come fatto verificato, ciascuna con la sua origine e, dove possibile, con l'evidenza che la confermerebbe. Il registro va in appendice o nel materiale di supporto e cambia la struttura epistemica della presentazione: la sua credibilità poggia ora visibilmente sulle affermazioni che hanno superato il controllo, con il resto etichettato. Chi sa distinguere, su richiesta, fra ciò che è stato verificato e ciò che è stato ipotizzato si trova in una posizione nettamente più solida di chi presenta un documento in cui ogni frase suona ugualmente certa.

La verifica finisce su una persona con un nome. Chi presenta è responsabile del fascicolo di verifica: l'elenco delle affermazioni portanti controllate, la fonte aperta per ciascuna e il confronto eseguito, comprese le distorsioni trovate e le decisioni applicate. Non è burocrazia. È ciò che trasforma il protocollo da abitudine privata in atto di gestione, ed è ciò che consente di difendere la presentazione quando un consigliere chiede, settimane dopo, da dove venisse una cifra. La risposta è un documento, non un ricordo.

• Ogni affermazione portante, nell'ordine di triage adottato: cifre, poi attribuzioni, poi racconto.
• La fonte aperta per ciascuna affermazione e la frase confrontata.
• Le distorsioni trovate, denominate per tipo, e come ciascuna è stata risolta: corretta, rimossa o segnalata come ipotesi.
• Il registro delle ipotesi, con ogni affermazione che la presentazione porta come tale.
• Il nome di chi ha eseguito il confronto e la data di completamento.

La firma è un atto di gestione, non una formalità. Il toolkit di supervisione Empowering AI Leadership del World Economic Forum, rivolto ai consigli di amministrazione, poggia su questa divisione del lavoro: il management elabora ed esegue la strategia in un mondo plasmato dall'IA, mentre il ruolo del consiglio è la supervisione delle decisioni del management e dei loro risultati.^[5] Una presentazione che arriva a un consiglio o a un comitato investimenti è esattamente un input decisionale di questo tipo, e chi la presenta risponde di ciò che in essa è verificato e di ciò che è ipotizzato. Firmare il fascicolo di verifica rende quella responsabilità esplicita anziché implicita.

Il protocollo qui descritto è deliberatamente indipendente dallo strumento: si può applicare a qualsiasi presentazione, da qualunque processo di redazione provenga. Ma lo sforzo che richiede dipende molto da come la presentazione è stata costruita. Decisity è una piattaforma di strategia nativa per l'IA il cui output è pensato per essere controllato: ogni affermazione e ogni cifra di una presentazione Decisity rimanda con un clic alla sua fonte, così che la fase di confronto di questo protocollo si svolga come un passaggio rapido anziché come un esercizio forense, e il fascicolo di verifica si componga da sé a partire dai collegamenti tracciabili invece di essere ricostruito a posteriori. Per i team che presentano davanti a consigli e comitati investimenti, è la differenza fra una verifica che è un progetto e una verifica che fa parte del flusso di lavoro. Il criterio di fondo resta lo stesso nei due casi, ed è quello che questo articolo ha applicato dall'inizio alla fine: una presentazione è pronta quando ogni affermazione portante è stata aperta, confrontata e firmata.

• NIST AI 600-1: Generative Artificial Intelligence Profile
• Nature: Hallucinated citations are polluting the scientific literature. What can be done?
• LLM hallucinations in the wild: Large-scale evidence from non-existent citations
• Dallas Fed: Texas winter deep freeze broke refining, petrochemical supply chains
• World Economic Forum: Empowering AI Leadership, Oversight Toolkit for Boards of Directors