Quanta revisione umana serve a una presentazione strategica IA?

Il carico di revisione non scompare con la stesura tramite IA; si sposta dalla produzione delle slide alla verifica delle affermazioni. Un protocollo a tre livelli, verifica delle fonti, verifica della logica e approvazione indipendente, richiede circa 6-12 ore per una presentazione per il consiglio di 30-40 slide: stime di lavoro tratte dalla pratica, non dati di sondaggio.

Per una tipica presentazione per il consiglio di trenta o quaranta slide prodotta su una piattaforma di strategia IA, prevedete circa sei-dodici ore di revisione strutturata distribuite su tre ruoli distinti: un analista o associate, il responsabile dell'incarico e un firmatario senior indipendente. Sono stime di lavoro tratte dalla pratica, non dati di sondaggio, e la sezione successiva espone le ipotesi che vi stanno dietro. La risposta diretta alla domanda dell'acquirente è quindi: tre persone e circa una giornata e mezza di revisione complessiva, distribuita in modo disomogeneo lungo la scala gerarchica.

Il carico di revisione non scompare quando la presentazione è redatta da una macchina; si sposta. In un incarico convenzionale, gran parte del tempo senior del team va nella produzione e nel controllo di ogni slide, e nelle iterazioni di stesura che seguono. Con una presentazione generata dall'IA la stesura è quasi istantanea e il tempo si sposta sulla verifica delle affermazioni portanti e sul test di tenuta del ragionamento. Le ore sono comparabili nel totale; ciò che cambia è dove vengono spese e quanto costa un errore a ogni passaggio.

• Livello 1, la verifica delle fonti: un analista o associate apre ogni cifra portante alla fonte citata. Circa tre-sei ore.
• Livello 2, la verifica della logica e del "so what": il responsabile dell'incarico verifica che il ragionamento discenda dalle prove. Circa due-quattro ore.
• Livello 3, l'approvazione indipendente: un partner o un dirigente esterno all'incarico legge la presentazione a freddo e conferma che la raccomandazione è difendibile. Circa una-due ore.

Chi ricopre questi ruoli ha bisogno di più della semplice disponibilità. Il quadro di audit sulla protezione dei dati dell'ICO britannica stabilisce che i revisori umani dovrebbero avere conoscenze, esperienza, autorità e indipendenza adeguate per contestare le decisioni, e che una revisione umana non significativa è causata dall'automation bias o da una mancanza di interpretabilità^[1]. Lo stesso quadro chiede che ai revisori sia assegnato un carico di casi gestibile, con risorse sufficienti per dedicare il tempo appropriato ai loro compiti. Un revisore con l'autorevolezza per contestare ma senza il tempo per aprire le fonti revisiona solo di nome.

Il protocollo che segue è il nucleo verificabile di questo articolo: tre livelli, ciascuno con un ruolo nominato, una responsabilità delimitata, un output definito e una modalità di errore. È progettato in modo che un responsabile della strategia possa assegnarlo, un responsabile dell'incarico possa eseguirlo e un partner possa firmarlo. La disciplina di verifica alla base del Livello 1 è esposta in maggiore dettaglio in una guida complementare su come verificare una presentazione strategica generata dall'IA.

Gli intervalli orari presuppongono una presentazione di trenta o quaranta slide con circa quindici-venticinque cifre portanti, fonti raggiungibili con un clic anziché ricostruite tramite ricerca, e revisori che conoscono la materia. Non presuppongono nulla sull'accuratezza dello strumento; descrivono lo sforzo di verifica, non tassi di errore. Quando una presentazione si basa su un set di dati che il revisore già conosce bene, il Livello 1 può collocarsi nella parte bassa del suo intervallo; quando cita dati di mercato di terzi che il revisore non ha mai visto, può superare la parte alta.

Ogni livello fallisce in modo diverso, e la modalità di errore decide che cosa succede dopo. Se il Livello 1 trova una cifra che non corrisponde alla fonte, l'affermazione viene corretta o eliminata e l'elenco torna al Livello 2; un'affermazione senza fonte viene segnalata, non sistemata in silenzio dal revisore. Se il Livello 2 rileva che il ragionamento non discende dalle prove, la presentazione viene rielaborata prima di chiedere qualsiasi approvazione. Se il Livello 3 nega la firma, la raccomandazione non arriva al consiglio, qualunque cosa dica il calendario. Tra le aspettative dichiarate del quadro ICO c'è che le organizzazioni tengano un registro dei casi in cui le decisioni dell'IA vengono annullate da un revisore umano, con le relative motivazioni^[1], che è il modello giusto per la registrazione di tutti e tre i livelli.

Quanta parte del protocollo si applica dipende dalla posta in gioco della decisione, non dallo strumento che ha redatto la presentazione. La logica di proporzionalità ha un analogo normativo: l'articolo 14, paragrafo 3, dell'AI Act europeo, regolamento (UE) 2024/1689, stabilisce che le misure di sorveglianza umana devono essere commisurate ai rischi, al livello di autonomia e al contesto di utilizzo del sistema di IA ad alto rischio^[3][2]. Tale articolo si applica solo ai sistemi di IA ad alto rischio come classificati dal regolamento, ad esempio quelli elencati nell'allegato III, e non impone alcun obbligo alle presentazioni strategiche interne. Il punto utile per un responsabile della strategia è il principio, non l'obbligo: lo sforzo di sorveglianza dovrebbe essere proporzionato a quanto costerebbe un output sbagliato.

Lo schema è che lo sforzo di revisione segue la reversibilità. Un aggiornamento mensile che si rivela sbagliato costa una correzione; una raccomandazione di ingresso in un mercato che si rivela sbagliata costa il capitale. Il protocollo si alleggerisce nel primo caso e non scende mai sotto i tre livelli nell'ultimo.

Una presentazione IA fluida e ben formattata viene revisionata con meno spirito critico di una bozza grezza, e questo è il rischio meglio documentato dell'intero flusso di lavoro. La rassegna di Parasuraman e Manzey sulla compiacenza e sul bias nell'uso umano dell'automazione, pubblicata su Human Factors nel 2010, ha rilevato che l'automation bias si manifesta sia nei partecipanti inesperti sia in quelli esperti, non può essere prevenuto con la formazione o con le istruzioni, e può influenzare il processo decisionale sia degli individui sia dei team^[4]. La competenza non esonera il revisore; può far sembrare la revisione superflua.

La stessa letteratura individua quando il bias si aggrava. La rassegna sistematica sull'automation bias di Goddard, Roudsari e Wyatt, pubblicata sul Journal of the American Medical Informatics Association nel 2011, ha rilevato che i mediatori ambientali comprendevano il carico di lavoro, la complessità del compito e i vincoli di tempo, che mettevano sotto pressione le risorse cognitive^[5]. Un revisore a cui viene consegnata una presentazione rifinita alla fine di una settimana intensa, con una riunione del consiglio la mattina dopo, è vicino al caso peggiore: carico di lavoro elevato, forte vincolo di tempo e un output che sembra finito.

• Proteggete il tempo di revisione in agenda come un blocco distinto, come un tempo lo era il tempo di stesura, invece di aspettarvi che venga assorbito nei margini della giornata.
• Dite al revisore che cosa cercare prima che apra la presentazione: le cifre portanti, le tre affermazioni più rilevanti, la dipendenza della raccomandazione da dati segnalati.
• Trattate la fluidità come una proprietà della formattazione, non delle prove. Una presentazione ben strutturata con una conversione di unità sbagliata resta sbagliata.

Un revisore non può verificare ciò che non può tracciare. Il protocollo sopra è fattibile solo se la piattaforma rende visibili tre cose, e un acquirente dovrebbe testarle tutte e tre in una dimostrazione prima di impegnarsi.

• Link cliccabili da affermazione a fonte, in modo che il Livello 1 apra la fonte citata in un solo passaggio invece di cercarla. Senza di questo, le tre-sei ore della tabella sopra all'incirca raddoppiano, e alcune affermazioni restano semplicemente non controllate.
• Un elenco visibile delle affermazioni senza fonte, in modo che il revisore sappia dove sono le lacune invece di presumere che non ce ne siano. Una lacuna non segnalata è l'unico errore che il Livello 1 non può cogliere, perché il revisore non sa che l'affermazione esiste.
• Una cronologia delle versioni, in modo che la traccia di ciò che è cambiato tra un giro di revisione e l'altro sopravviva e il Livello 3 approvi la presentazione che è stata effettivamente revisionata.

Queste funzioni non sono comodità; sono ciò che mantiene la revisione significativa. La tracciabilità agisce su entrambe le metà del problema esposto sopra: accorcia il percorso di verifica quando il tempo è poco e rende interpretabile la base di ogni affermazione. Una presentazione verificabile, in cui ogni cifra porta una fonte tracciabile, è ciò che lo rende possibile nella pratica.

Due esclusioni contano quanto l'assegnazione dei ruoli. Primo, la persona che ha scritto il brief non dovrebbe essere l'unico revisore. È ancorata alla propria impostazione: l'ipotesi che ha posto, l'ambito che ha fissato, le fonti che ha fornito. Verificherà se la presentazione risponde al suo brief, non se il brief fosse giusto. Il Livello 2 o il Livello 3 deve spettare a qualcuno in grado di dissentire dall'impostazione stessa, una divisione del lavoro approfondita in un articolo complementare su dove conta il giudizio umano nella consulenza manageriale con l'IA.

Secondo, gli indicatori di confidenza propri della piattaforma non sono una revisione. Un punteggio di confidenza è un output dello stesso sistema sotto revisione, prodotto dallo stesso modello a partire dagli stessi documenti. Restituirlo alla piattaforma come prova non dice al revisore nulla che non dipendesse già dalla piattaforma. Appartiene alla stessa categoria della formattazione della presentazione: persuasivo, e vuoto sul piano probatorio.

• Revisionare la formattazione invece delle affermazioni. Le scelte di carattere e gli stili dei grafici valgono cinque minuti, non un livello.
• Campionare poche slide ed estrapolare al resto. Gli errori si concentrano intorno alle cifre portanti, che non sono affatto un campione casuale.
• Trattare il tempo risparmiato nella stesura come tempo sottratto alla revisione. Le ore risparmiate sono il budget della revisione, non un risparmio da incassare.

Decisity è una piattaforma di consulenza strategica nativa per l'IA, e il protocollo sopra è vicino al modo in cui le sue funzioni di revisione sono pensate per essere usate. Le presentazioni che genera portano ogni affermazione, cifra e raccomandazione collegata con un clic alla propria fonte, ed elenca le affermazioni senza fonte per la revisione attraverso il suo AI Strategy Engine. È ciò che consente di completare il Livello 1 aprendo le fonti anziché cercandole, ed è il motivo per cui gli intervalli orari di questo articolo presuppongono una tracciabilità a un clic.

La stessa tracciabilità è ciò che permette al Livello 2 e al Livello 3 di vedere che cosa è stato controllato e che cosa è stato segnalato, anziché fidarsi della parola del responsabile dell'incarico. Un'interpretabilità di questo tipo è ciò che separa una revisione significativa da una nominale. Il flusso di lavoro in tre passaggi della piattaforma, dall'acquisizione dei documenti alle presentazioni pronte per il consiglio, è descritto nella pagina come funziona.

È il protocollo, non lo strumento, a fissare il carico di revisione. Il compito dello strumento è rendere la revisione abbastanza economica perché avvenga davvero: fonti a un clic, lacune elencate anziché nascoste, versioni registrate. La posta in gioco della decisione stabilisce quanti livelli si eseguono e chi firma. Nulla in una presentazione generata dall'IA cambia questa aritmetica, e nulla dovrebbe poterlo fare.

Letture correlate:

• Possiamo riprodurre un'analisi strategica IA sei mesi dopo?
• Come verificare una presentazione strategica generata dall'IA

• ICO: Data protection audit framework, Artificial intelligence toolkit, Human review
• EUR-Lex: Regulation (EU) 2024/1689 (Artificial Intelligence Act)
• EU Artificial Intelligence Act: Article 14, Human Oversight
• Parasuraman and Manzey, Human Factors: Complacency and bias in human use of automation, an attentional integration (2010)
• Goddard, Roudsari and Wyatt, JAMIA: Automation bias, a systematic review of frequency, effect mediators, and mitigators (2011)