¿Podemos reproducir un análisis estratégico de IA seis meses después?

Que un análisis asistido por IA pueda reconstruirse seis meses después depende de lo que se conservó el día de la aprobación. Esta guía expone los siete artefactos que componen un paquete de reproducibilidad, una prueba de reconstrucción en frío de quince minutos y las preguntas que conviene hacer al proveedor antes de comprar.

Sí: un análisis estratégico asistido por IA puede reproducirse seis meses después, pero solo si el registro se conservó el día en que se tomó la decisión. La reproducibilidad no reside en la plataforma. Reside en el registro que la rodea: los documentos que vio la plataforma, el encargo que recibió, la versión del análisis que se presentó, las fuentes detrás de cada cifra y los nombres de las personas que lo comprobaron y aprobaron. Si ese registro no se conservó, ninguna capacidad de la plataforma podrá reconstruirlo después. Una decisión del consejo es tan defendible como el registro conservado ese día.

La pregunta suele llegar de una forma concreta. Un consejero, un comité de auditoría, un comité de inversiones o un limited partner pregunta: ¿qué vio exactamente la plataforma, qué produjo y quién lo aprobó? Cada parte de esa pregunta corresponde a un artefacto distinto. Lo que vio la plataforma es el conjunto de fuentes. Lo que produjo es una presentación concreta y versionada. Quién lo aprobó es un registro de revisión con nombres. Una organización que no puede responder a las tres preguntas a partir de documentos conservados depende de la memoria, de la rotación de personal y del estado de la sesión de un proveedor, y esa no es una posición defendible.

El fallo de reproducibilidad no es un riesgo marginal. En la ciencia, donde la reproducción es una norma fundacional, la encuesta de Nature de 2016 a 1.576 investigadores reveló que más del 70 % había intentado sin éxito reproducir los experimentos de otro científico, y más de la mitad no había logrado reproducir los suyos propios.^[1] Si investigadores formados, con secciones de métodos y revisión por pares, tienen dificultades para reproducir un trabajo meses después, un equipo de estrategia no debería suponer que su propio registro sobrevivirá sin ayuda. El equivalente en gobernanza es una política escrita que establezca qué documento es el registro oficial de una decisión, para que la cuestión no tenga que resolverse retrospectivamente.

Lo que sigue es la forma práctica de esa disciplina: por qué volver a ejecutar una plataforma no es reproducir, los siete artefactos que deben conservarse en la aprobación, una prueba de quince minutos para saber si el registro funciona de verdad, las preguntas que hacer a un proveedor, y las reglas de conservación y los modos de fallo que hay que evitar.

Una suposición frecuente y costosa es que la plataforma garantiza la reproducción: si el análisis llega a cuestionarse, el equipo puede simplemente iniciar sesión y ejecutarlo de nuevo. Esa suposición falla por una razón estructural. Una nueva ejecución trabaja con los documentos de hoy, y hoy no es el día en que el consejo decidió. Las fuentes web cambian o desaparecen. Los documentos internos son sustituidos por versiones posteriores, reorganizados en nuevas estructuras de carpetas o eliminados. Los modelos y las instrucciones que sustentan el comportamiento de la plataforma cambian a medida que los proveedores publican actualizaciones. Una nueva ejecución produce, por tanto, la respuesta de hoy a las entradas de hoy, no la respuesta que vio el consejo. Es un análisis nuevo, no una reproducción del anterior.

Por eso el registro debe congelar las entradas, no solo la presentación final. El PDF de la presentación le dice a un revisor cuál fue la conclusión. No le dice de qué versión de un informe de mercado procede la cifra de ingresos, qué borrador del modelo interno de costes se ingirió ni qué se le pidió a la plataforma. Reproducir exige poder recorrer el camino desde la recomendación hasta las fuentes exactas tal como existían ese día, y ese recorrido solo es posible si las entradas se capturaron en su momento.

Conviene ser preciso sobre lo que la regulación exige y lo que no, porque el Reglamento de IA de la UE se invoca a menudo en estas conversaciones. El artículo 12 del Reglamento exige que los sistemas de IA de alto riesgo permitan técnicamente el registro automático de acontecimientos (archivos de registro) durante toda la vida útil del sistema, y esa disposición se aplica a partir del 2 de diciembre de 2027 para los sistemas de alto riesgo del anexo III.^[3][2] Una presentación estratégica interna elaborada con una plataforma de IA no entra en ese ámbito. Las obligaciones de registro vinculan a proveedores y responsables del despliegue de sistemas clasificados como de alto riesgo según los anexos del Reglamento; no son un régimen de cumplimiento para el análisis destinado al consejo. La implicación práctica es clara: ningún regulador lleva este registro por usted. La organización debe llevar el suyo.

• Capture los documentos tal como se ingirieron, con fechas, porque una recuperación posterior no puede demostrar qué contenía la anterior.
• Capture el encargo, porque el análisis solo puede juzgarse frente a la pregunta que se le formuló.
• Capture la versión presentada de la presentación, porque la salida por sí sola no permite volver de una cifra a su fuente.

El paquete de reproducibilidad es la respuesta concreta a la pregunta del comprador: un conjunto definido de artefactos, reunido y congelado en el momento de la aprobación, que permite a alguien ajeno al proyecto reconstruir qué vio la plataforma, qué produjo y quién lo aprobó. Cada artefacto que sigue se gana su lugar por lo que falla después sin él. El listón de calidad para el paquete en su conjunto procede de la norma de gestión de documentos ISO 15489, según la cual un registro conserva su autoridad gracias a cuatro características: autenticidad, fiabilidad, integridad y usabilidad.^[5][4]

La versión exacta de la presentación expuesta

Conserve la versión precisa de la presentación que se puso ante el consejo o el comité, congelada para que no pueda desviarse. Bloquear la versión mediante un hash o un identificador inmutable equivalente es preferible a un nombre de archivo, porque los nombres de archivo se editan y las copias circulan. Sin esto, una impugnación posterior comienza con una discusión irresoluble sobre qué cifras estaban realmente sobre la mesa.

El conjunto de fuentes congelado

Conserve cada documento que la plataforma ingirió y cada fuente externa citada, cada uno con su fecha de consulta. Sin la fecha, una cita se convierte en un callejón sin salida justo cuando se necesita, porque la versión consultada ese día ya no puede distinguirse de lo que haya después en esa misma ubicación. Sin el conjunto de fuentes congelado, el análisis se vuelve inverificable por principio, no solo incómodo de comprobar.

El registro del alcance y del encargo

Registre la pregunta que realmente se planteó a la plataforma y las restricciones dadas: el mercado, el horizonte temporal, los supuestos que se mantienen fijos, las opciones dentro y fuera del alcance. Los mismos documentos responden de forma distinta a preguntas distintas, de modo que un análisis no puede juzgarse sin saber qué se le pidió. Sin el encargo, un revisor no puede distinguir un error analítico de una pregunta planteada de otro modo.

El mapa de afirmación a fuente

Para cada cifra determinante, registre la fuente y la página, tabla o celda de la que procede. Este es el artefacto que convierte una cita en evidencia: permite a un revisor ir del número de la diapositiva a la ubicación exacta en la fuente tal como se consultó. Sin él, verificar una sola cifra significa rehacer el análisis, que es precisamente lo que una decisión cuestionada no puede esperar.

El registro de revisión y aprobación

Nombre a quien verificó cada afirmación, cómo la verificó y quién aprobó la recomendación. Una revisión que no puede atribuirse a una persona es indistinguible de la ausencia de revisión. Sin este registro, la organización no puede demostrar que hubo un juicio humano entre la salida de la plataforma y la decisión del consejo.

La nota de versión de la plataforma y del modelo

Registre qué versiones de la plataforma y del modelo produjeron el análisis, y las limitaciones conocidas en ese momento. La práctica es la misma que ya siguen los estándares de documentación para modelos de aprendizaje automático publicados: declarar el uso previsto, la evaluación y los límites conocidos. Sin una nota de versión, un revisor posterior no puede saber si el análisis es anterior a una debilidad conocida o a un cambio sustancial en las herramientas.

Lo que se excluyó o no pudo verificarse

Registre las lagunas conocidas: fuentes que no pudieron confirmarse, datos que no estaban disponibles, líneas de análisis que se consideraron y se descartaron. Es el artefacto que más a menudo se omite, porque parece admitir una debilidad. En realidad es lo contrario: un registro de decisión que reconoce sus límites es más creíble ante una impugnación que uno que reclama una exhaustividad que no puede demostrar.

Un paquete que nunca se ha probado es una hipótesis, no un control. La prueba de reconstrucción en frío es un protocolo breve y repetible que una organización puede ejecutar antes de comprar una plataforma, con el material de un proyecto piloto, y de nuevo después de cualquier reunión importante. Su propósito es averiguar si el registro funciona para alguien sin contexto, que es exactamente la posición de un revisor, un auditor o un consejero recién incorporado seis meses después.

1. Entregue el paquete de reproducibilidad a un colega que no haya participado en el proyecto.
2. Concédale quince minutos y ningún acceso a la plataforma. El paquete debe sostenerse por sí solo.
3. Hágale tres preguntas, que deben responderse solo con el paquete: cuál fue la recomendación y cuáles sus tres cifras determinantes; de dónde procede cada cifra y qué fecha lleva esa fuente; quién verificó las cifras y quién aprobó la recomendación.
4. Registre qué pudo responder y qué no, y cuánto tardó en encontrar cada respuesta.

Superar la prueba es inequívoco: las tres preguntas respondidas solo con el paquete, dentro de los quince minutos, sin recurrir a las personas que llevaron el proyecto ni a la propia plataforma. Ese criterio no es arbitrario. Es la característica de usabilidad de la ISO 15489 aplicada en la práctica, ya que la orientación de la norma es que los documentos se gestionen de modo que sigan siendo auténticos, fiables, completos, inalterados y utilizables: un registro que alguien ajeno al proyecto no puede localizar, recuperar e interpretar no está cumpliendo su función de registro, por muy cuidadosamente que se haya almacenado.^[6]

Los fallos son tan reveladores como el aprobado, porque cada uno corresponde a un artefacto ausente. Los enlaces a fuentes rotos apuntan a un conjunto de fuentes que nunca se congeló con fechas de consulta. Una versión de la presentación poco clara apunta a un bloqueo de versión ausente. Un revisor que no puede nombrarse apunta a un registro de aprobación ausente. Un análisis que no puede juzgarse frente a su pregunta apunta a un encargo que nunca se puso por escrito. Ejecutar la prueba antes de la compra le dice si las exportaciones de un proveedor pueden sostener un paquete siquiera; ejecutarla después de la reunión le dice si su propia disciplina se mantuvo.

La diligencia sobre reproducibilidad con un proveedor se reduce a la capacidad de exportación, y conviene formular las preguntas de forma que produzcan respuestas comprobables en lugar de garantías verbales. Las preguntas centrales son si la plataforma exporta el conjunto de fuentes, el historial de versiones y el mapa de citas; en qué formato llegan esas exportaciones; y si las exportaciones sobreviven a la terminación del contrato. La última es la que más a menudo queda sin hacer y la más cara de haber omitido: un archivo que muere con la sesión de usuario no es un archivo, porque en el momento en que la suscripción caduca o la relación con el proveedor termina, el registro del que depende la organización puede dejar de existir en cualquier forma recuperable.

• ¿Puede la plataforma exportar el conjunto completo de fuentes, incluidos los documentos ingeridos y las fuentes externas citadas, con fechas de consulta?
• ¿Puede exportar el historial de versiones de una presentación, de modo que la versión expuesta pueda distinguirse de ediciones posteriores?
• ¿Puede exportar el mapa de citas o de afirmación a fuente, que vincula cada cifra con su fuente y su ubicación?
• ¿En qué formato se entregan estas exportaciones y pueden leerse sin el software del proveedor?
• ¿Siguen siendo accesibles las exportaciones tras la terminación del contrato, y qué dice el acuerdo sobre lo que ocurre con los datos?

El precedente de documentación es uno que la industria del software ya conoce. Las model cards, propuestas por Mitchell y colaboradores, son documentos breves que acompañan a los modelos entrenados y revelan el uso previsto, las condiciones de evaluación y las limitaciones.^[7] Una plataforma de estrategia que exporta sus fuentes, versiones y citas ofrece el mismo tipo de transparencia un nivel más arriba, en el nivel del análisis y no del modelo.

Una cautela mantiene honesta esta sección: la capacidad de exportación es una cuestión comercial que hay que preguntar, no una garantía de cumplimiento que pueda darse por supuesta. Ninguna exigencia regulatoria obliga a un proveedor a conservar su registro, de modo que las preguntas contractuales y prácticas anteriores son la única protección.

La prueba práctica devuelve esta sección al protocolo anterior: ejecute un proyecto piloto, solicite las exportaciones como parte del piloto y someta el material exportado a la prueba de reconstrucción en frío antes de firmar. Una demostración del proveedor muestra lo que la plataforma puede producir; la prueba muestra si lo que produce puede ser reconstruido por un desconocido con quince minutos y sin sesión de usuario.

Conserve el paquete mientras la decisión pueda revisarse, y alinee ese periodo con la política de conservación de documentos que la organización ya tenga para los papeles del consejo, en lugar de inventar un calendario nuevo para el trabajo asistido por IA. El punto de referencia que la mayoría de las organizaciones ya tienen es legal: según la sección 248 de la Companies Act 2006, toda sociedad del Reino Unido debe hacer que se levanten actas de todas las deliberaciones en las reuniones de sus administradores, y esos registros deben conservarse durante al menos diez años desde la fecha de la reunión.^[8] Un análisis estratégico que alimentó una decisión del consejo tiene su lugar natural junto a esos papeles, bajo la misma disciplina de conservación. La tarea de gobernanza asociada es establecer en una política escrita qué documento cuenta como registro oficial de la decisión. Aquí no se propone ningún periodo de conservación concreto más allá de esa alineación, porque el periodo adecuado depende de la política propia de la organización y de las jurisdicciones ante las que responde.

Tres fallos explican la mayoría de las lagunas de reproducibilidad que este artículo pretende evitar, y cada uno puede evitarse a un coste insignificante si se detecta a tiempo.

• Conservar solo el PDF de la presentación. El PDF captura la salida y nada más: ni conjunto de fuentes, ni encargo, ni mapa de afirmación a fuente, ni registro de aprobación. Es el artefacto con más probabilidades de existir y el menos capaz de responder por sí solo a la pregunta del comprador.
• Confiar en la sesión de usuario de la plataforma como archivo. Una sesión es acceso a un sistema vivo, no un registro de uno pasado. Las fuentes cambian, las versiones se sustituyen, los contratos terminan, y cuando eso ocurre, la sesión no responde a ninguna de las preguntas que se suponía que respondería.
• Reconstruir el registro después de que se haya planteado una impugnación. Un registro reunido bajo presión se lee como una justificación a posteriori y no como evidencia, y nadie puede verificar que el conjunto de fuentes reconstruido coincida con lo que la plataforma vio realmente. El registro solo tiene valor si se conservó antes de que hiciera falta.

Decisity es una plataforma de consultoría estratégica nativa de IA. Sus presentaciones llevan cada afirmación, cifra y recomendación enlazada con un clic a su fuente, y su conjunto de fuentes y su historial de versiones pueden exportarse. En los términos de este artículo, la plataforma genera buena parte del paquete de reproducibilidad como subproducto del trabajo: el mapa de afirmación a fuente existe porque cada afirmación está vinculada a su origen, y el conjunto de fuentes congelado y el historial de versiones existen porque pueden exportarse en la aprobación. El paquete es, por tanto, una breve tarea de ensamblaje en la aprobación y no una excavación seis meses después.

La plataforma no elimina el deber de la organización de llevar el registro. El encargo sigue teniendo que ponerse por escrito, los revisores siguen teniendo que nombrarse, las exclusiones siguen teniendo que declararse y el paquete sigue teniendo que conservarse según la política propia de la organización. Lo que la plataforma elimina es el trabajo manual de reunir las partes que toca, y la prueba de reconstrucción en frío sigue aplicándose al resultado. Un análisis estratégico merece el mismo estándar de autodescripción que ya llevan los modelos de aprendizaje automático documentados, y la organización que lo exige, a cualquier proveedor, es la que puede responder a la pregunta del consejo seis meses después.

Lecturas relacionadas:

• ¿Cuánta revisión humana necesita una presentación estratégica de IA?
• Presentar un análisis asistido por IA a un consejo escéptico

• Nature: 1,500 scientists lift the lid on reproducibility (Baker, 2016)
• EU Artificial Intelligence Act: Article 12, Record-Keeping
• EUR-Lex: Regulation (EU) 2024/1689 (Artificial Intelligence Act)
• Digital Curation Centre: ISO 15489 (Standards Watch briefing paper)
• Kastenhofer, Archives and Manuscripts: The logic of archival authenticity: ISO 15489 and the varieties of forgeries in archives (2015)
• International Council on Archives: Principles and Functional Requirements for Records in Electronic Office Environments, Module 2
• Mitchell et al.: Model Cards for Model Reporting (arXiv, 2018)
• legislation.gov.uk: Companies Act 2006, section 248, Minutes of directors' meetings