Können wir eine KI-Strategieanalyse sechs Monate später reproduzieren?

Ob sich eine KI-gestützte Analyse sechs Monate später rekonstruieren lässt, hängt davon ab, was am Tag der Freigabe aufbewahrt wurde. Dieser Leitfaden beschreibt die sieben Artefakte eines Reproduzierbarkeitspakets, einen fünfzehnminütigen Kaltrekonstruktionstest und die Fragen, die Sie einem Anbieter vor dem Kauf stellen sollten.

Ja: Eine KI-gestützte Strategieanalyse kann sechs Monate später reproduziert werden, aber nur, wenn die Aufzeichnung an dem Tag angelegt wurde, an dem die Entscheidung fiel. Reproduzierbarkeit steckt nicht in der Plattform. Sie steckt in der umgebenden Aufzeichnung: den Dokumenten, die die Plattform gesehen hat, dem Briefing, das sie erhalten hat, der präsentierten Version der Analyse, den Quellen hinter jeder Zahl und den Namen der Personen, die geprüft und freigegeben haben. Wurde diese Aufzeichnung nicht angelegt, kann keine noch so leistungsfähige Plattform sie später rekonstruieren. Eine Vorstandsentscheidung ist nur so belastbar wie die Aufzeichnung, die an diesem Tag aufbewahrt wurde.

Die Frage kommt meist in einer bestimmten Form. Ein Vorstandsmitglied, ein Prüfungsausschuss, ein Investitionsausschuss oder ein Limited Partner fragt: Was genau hat die Plattform gesehen, was hat sie erzeugt und wer hat es freigegeben? Jeder Teil dieser Frage entspricht einem eigenen Artefakt. Was die Plattform gesehen hat, ist der Quellensatz. Was sie erzeugt hat, ist ein konkretes, versioniertes Deck. Wer es freigegeben hat, steht in einem namentlichen Prüfprotokoll. Eine Organisation, die nicht alle drei Fragen aus aufbewahrten Dokumenten beantworten kann, verlässt sich auf Erinnerung, Personalfluktuation und den Login-Zustand eines Anbieters, und das ist keine verteidigungsfähige Position.

Das Scheitern der Reproduzierbarkeit ist kein Nischenrisiko. In der Wissenschaft, wo Reproduktion eine Grundnorm ist, ergab die Nature-Umfrage von 2016 unter 1.576 Forschenden, dass mehr als 70 % vergeblich versucht hatten, die Experimente anderer Wissenschaftler zu reproduzieren, und mehr als die Hälfte an der Reproduktion der eigenen gescheitert war.^[1] Wenn ausgebildete Forschende mit Methodenteilen und Peer-Review Monate später Mühe haben, Arbeiten zu reproduzieren, sollte ein Strategieteam nicht annehmen, dass seine eigene Aufzeichnung ohne Zutun überdauert. Das Governance-Äquivalent ist eine schriftliche Richtlinie, die festlegt, welches Dokument die offizielle Aufzeichnung einer Entscheidung ist, damit diese Frage nicht rückwirkend geklärt werden muss.

Was folgt, ist die praktische Form dieser Disziplin: warum ein Neulauf der Plattform keine Reproduktion ist, die sieben Artefakte, die bei der Freigabe aufzubewahren sind, ein fünfzehnminütiger Test, ob die Aufzeichnung tatsächlich funktioniert, die Fragen an einen Anbieter sowie die Aufbewahrungsregeln und Fehlermuster, die zu vermeiden sind.

Eine verbreitete und teure Annahme lautet, die Plattform garantiere die Reproduktion: Wird die Analyse jemals angezweifelt, kann sich das Team einfach anmelden und sie erneut laufen lassen. Diese Annahme scheitert aus einem strukturellen Grund. Ein Neulauf arbeitet mit den Dokumenten von heute, und heute ist nicht der Tag, an dem der Vorstand entschieden hat. Webquellen ändern sich oder verschwinden. Interne Dokumente werden durch spätere Versionen ersetzt, in neue Ordnerstrukturen verschoben oder gelöscht. Die Modelle und Prompts hinter dem Verhalten der Plattform ändern sich, sobald Anbieter Updates ausliefern. Ein Neulauf erzeugt daher die heutige Antwort auf die heutigen Eingaben, nicht die Antwort, die der Vorstand gesehen hat. Es ist eine neue Analyse, keine Reproduktion der alten.

Deshalb muss die Aufzeichnung die Eingaben einfrieren, nicht nur das fertige Deck. Das Deck-PDF sagt einem Prüfer, wie die Schlussfolgerung lautete. Es sagt ihm nicht, aus welcher Version eines Marktberichts die Umsatzzahl stammt, welcher Entwurf des internen Kostenmodells eingelesen wurde oder was die Plattform tun sollte. Reproduktion setzt voraus, dass man von der Empfehlung zurück zu den exakten Quellen gelangen kann, wie sie an jenem Tag existierten, und dieser Weg ist nur möglich, wenn die Eingaben damals erfasst wurden.

Es lohnt sich, hier präzise zu bleiben, was die Regulierung verlangt und was nicht, denn der EU AI Act wird in diesen Gesprächen häufig ins Feld geführt. Artikel 12 der Verordnung verlangt, dass Hochrisiko-KI-Systeme technisch die automatische Aufzeichnung von Ereignissen (Protokollierung) über die gesamte Lebensdauer des Systems ermöglichen, und diese Bestimmung gilt ab dem 2. Dezember 2027 für Hochrisikosysteme nach Anhang III.^[3][2] Ein internes Strategie-Deck, das mit einer KI-Plattform erstellt wurde, fällt nicht in diesen Anwendungsbereich. Die Protokollierungspflichten binden Anbieter und Betreiber von Systemen, die nach den Anhängen der Verordnung als hochriskant eingestuft sind; sie sind kein Compliance-Regime für Vorstandsanalysen. Die praktische Folge ist eindeutig: Keine Aufsichtsbehörde führt diese Aufzeichnung für Sie. Die Organisation muss ihre eigene führen.

• Erfassen Sie die Dokumente so, wie sie eingelesen wurden, mit Datum, denn ein späterer Abruf kann nicht belegen, was der frühere enthielt.
• Erfassen Sie das Briefing, denn die Analyse lässt sich nur an der Frage messen, die ihr gestellt wurde.
• Erfassen Sie die präsentierte Version des Decks, denn das Ergebnis allein trägt keinen Rückweg von einer Zahl zu ihrer Quelle.

Das Reproduzierbarkeitspaket ist die konkrete Antwort auf die Käuferfrage: ein definierter Satz von Artefakten, der im Moment der Freigabe zusammengestellt und eingefroren wird und es jemandem außerhalb des Projekts erlaubt zu rekonstruieren, was die Plattform gesehen hat, was sie erzeugt hat und wer es freigegeben hat. Jedes Artefakt unten verdient seinen Platz durch das, was später ohne es scheitert. Der Qualitätsmaßstab für das Paket als Ganzes stammt aus der Schriftgutverwaltungsnorm ISO 15489, nach der eine Aufzeichnung durch vier Merkmale maßgeblich bleibt: Authentizität, Zuverlässigkeit, Integrität und Nutzbarkeit.^[5][4]

Die exakt präsentierte Deck-Version

Bewahren Sie genau die Version des Decks auf, die dem Vorstand oder Ausschuss vorgelegt wurde, eingefroren, damit sie nicht abdriften kann. Eine Versionssperre per Hash oder einem gleichwertigen unveränderlichen Kennzeichen ist einem Dateinamen vorzuziehen, denn Dateinamen werden bearbeitet und Kopien kursieren. Ohne dies beginnt ein späterer Einwand mit einem unlösbaren Streit darüber, welche Zahlen tatsächlich auf dem Tisch lagen.

Der eingefrorene Quellensatz

Bewahren Sie jedes Dokument, das die Plattform eingelesen hat, und jede zitierte externe Quelle auf, jeweils mit Abrufdatum. Ohne das Datum wird ein Zitat genau dann zur Sackgasse, wenn es gebraucht wird, weil sich die an jenem Tag konsultierte Version nicht mehr von dem unterscheiden lässt, was später an derselben Stelle steht. Ohne den eingefrorenen Quellensatz wird die Analyse grundsätzlich unüberprüfbar, nicht nur umständlich zu prüfen.

Die Aufzeichnung von Umfang und Briefing

Halten Sie fest, welche Frage der Plattform tatsächlich gestellt wurde und welche Vorgaben galten: der Markt, der Zeithorizont, die konstant zu haltenden Annahmen, die Optionen innerhalb und außerhalb des Umfangs. Dieselben Dokumente beantworten unterschiedliche Fragen unterschiedlich, deshalb lässt sich eine Analyse nicht beurteilen, ohne zu wissen, was sie leisten sollte. Ohne das Briefing kann ein Prüfer einen Analysefehler nicht von einer anders gestellten Frage unterscheiden.

Die Aussage-zu-Quelle-Zuordnung

Halten Sie für jede tragende Zahl die Quelle sowie die Seite, Tabelle oder Zelle fest, aus der sie stammt. Dieses Artefakt macht aus einem Zitat einen Beleg: Es erlaubt einem Prüfer, von der Zahl auf der Folie zur exakten Stelle in der Quelle zu gelangen, wie sie abgerufen wurde. Ohne diese Zuordnung bedeutet die Überprüfung einer einzigen Zahl, die Analyse zu wiederholen, und genau darauf kann eine angezweifelte Entscheidung nicht warten.

Das Prüf- und Freigabeprotokoll

Benennen Sie, wer welche Aussagen geprüft hat, wie sie geprüft wurden und wer die Empfehlung freigegeben hat. Eine Prüfung, die sich keiner Person zuordnen lässt, ist von keiner Prüfung nicht zu unterscheiden. Ohne dieses Protokoll kann die Organisation nicht zeigen, dass zwischen dem Ergebnis der Plattform und der Entscheidung des Vorstands ein menschliches Urteil stand.

Der Vermerk zur Plattform- und Modellversion

Halten Sie fest, welche Plattform- und Modellversionen die Analyse erzeugt haben und welche Einschränkungen zu diesem Zeitpunkt bekannt waren. Die Praxis entspricht dem, was Dokumentationsstandards für veröffentlichte Machine-Learning-Modelle bereits vorsehen: den vorgesehenen Einsatz, die Evaluation und die bekannten Grenzen zu benennen. Ohne Versionsvermerk kann ein späterer Prüfer nicht erkennen, ob die Analyse vor einer bekannt gewordenen Schwäche oder einer wesentlichen Änderung der Werkzeuge entstand.

Was ausgeschlossen wurde oder nicht überprüft werden konnte

Halten Sie die bekannten Lücken fest: Quellen, die sich nicht bestätigen ließen, Daten, die nicht verfügbar waren, Analysestränge, die erwogen und verworfen wurden. Dieses Artefakt wird am häufigsten weggelassen, weil es sich wie ein Eingeständnis von Schwäche anfühlt. Tatsächlich ist es das Gegenteil: Eine Entscheidungsaufzeichnung, die ihre Grenzen benennt, ist unter Einwänden glaubwürdiger als eine, die eine Vollständigkeit beansprucht, die sie nicht belegen kann.

Ein Paket, das nie getestet wurde, ist eine Hypothese, keine Kontrolle. Der Kaltrekonstruktionstest ist ein kurzes, wiederholbares Protokoll, das eine Organisation vor dem Kauf einer Plattform mit dem Material eines Pilotprojekts durchführen kann und erneut nach jeder bedeutenden Sitzung. Er soll zeigen, ob die Aufzeichnung für jemanden ohne Kontext funktioniert, und genau das ist die Lage eines Prüfers, eines Abschlussprüfers oder eines neu bestellten Vorstandsmitglieds sechs Monate später.

1. Übergeben Sie das Reproduzierbarkeitspaket einer Kollegin oder einem Kollegen, die oder der nicht am Projekt beteiligt war.
2. Geben Sie fünfzehn Minuten und keinen Zugang zur Plattform. Das Paket muss für sich stehen.
3. Stellen Sie drei Fragen, die allein aus dem Paket zu beantworten sind: Wie lautete die Empfehlung und was waren ihre drei tragenden Zahlen; woher stammt jede Zahl und welches Datum trägt die jeweilige Quelle; wer hat die Zahlen geprüft und wer hat die Empfehlung freigegeben.
4. Halten Sie fest, was beantwortet werden konnte und was nicht, und wie lange die Suche nach jeder Antwort dauerte.

Ein Bestehen ist eindeutig: Alle drei Fragen werden allein aus dem Paket beantwortet, innerhalb der fünfzehn Minuten, ohne Rückgriff auf die Personen, die das Projekt durchgeführt haben, oder auf die Plattform selbst. Dieser Maßstab ist nicht willkürlich. Er ist das Merkmal der Nutzbarkeit nach ISO 15489 in der Praxis, denn die Leitlinie der Norm lautet, Aufzeichnungen so zu verwalten, dass sie authentisch, zuverlässig, vollständig, unverändert und nutzbar bleiben: Eine Aufzeichnung, die von jemandem außerhalb des Projekts nicht gefunden, abgerufen und verstanden werden kann, erfüllt ihre Funktion als Aufzeichnung nicht, so sorgfältig sie auch abgelegt wurde.^[6]

Die Fehlschläge sind so aufschlussreich wie das Bestehen, denn jeder entspricht einem fehlenden Artefakt. Tote Quellenlinks deuten auf einen Quellensatz, der nie mit Abrufdaten eingefroren wurde. Eine unklare Deck-Version deutet auf eine fehlende Versionssperre. Ein Prüfer, der sich nicht benennen lässt, deutet auf ein fehlendes Freigabeprotokoll. Eine Analyse, die sich nicht an ihrer Frage messen lässt, deutet auf ein Briefing, das nie schriftlich festgehalten wurde. Der Test vor dem Kauf zeigt, ob die Exporte eines Anbieters überhaupt ein Paket tragen können; der Test nach der Sitzung zeigt, ob die eigene Disziplin gehalten hat.

Die Anbieterprüfung zur Reproduzierbarkeit läuft auf die Exportfähigkeit hinaus, und es lohnt sich, die Fragen so zu stellen, dass sie überprüfbare Antworten statt Zusicherungen hervorbringen. Die Kernfragen lauten, ob die Plattform den Quellensatz, die Versionshistorie und die Zitatzuordnung exportiert, in welchem Format diese Exporte vorliegen und ob die Exporte die Beendigung des Vertrags überdauern. Die letzte Frage wird am häufigsten nicht gestellt und ist am teuersten, wenn man sie übersprungen hat: Ein Archiv, das mit dem Login stirbt, ist kein Archiv, denn sobald das Abonnement ausläuft oder die Anbieterbeziehung endet, kann die Aufzeichnung, auf die sich die Organisation verlässt, in keiner abrufbaren Form mehr existieren.

• Kann die Plattform den vollständigen Quellensatz exportieren, einschließlich eingelesener Dokumente und zitierter externer Quellen, mit Abrufdaten?
• Kann sie die Versionshistorie eines Decks exportieren, sodass sich die präsentierte Version von späteren Bearbeitungen unterscheiden lässt?
• Kann sie die Zitat- oder Aussage-zu-Quelle-Zuordnung exportieren, die jede Zahl mit ihrer Quelle und Fundstelle verknüpft?
• In welchem Format werden diese Exporte geliefert, und lassen sie sich ohne die Software des Anbieters lesen?
• Bleiben die Exporte nach Beendigung des Vertrags zugänglich, und was sagt die Vereinbarung darüber, was mit den Daten geschieht?

Der Dokumentationspräzedenzfall ist einer, den die Softwarebranche bereits kennt. Model Cards, vorgeschlagen von Mitchell und Kollegen, sind kurze Dokumente, die trainierte Modelle begleiten und den vorgesehenen Einsatz, die Evaluationsbedingungen und die Einschränkungen offenlegen.^[7] Eine Strategieplattform, die ihre Quellen, Versionen und Zitate exportiert, bietet dieselbe Art von Transparenz eine Ebene höher: auf der Ebene der Analyse statt des Modells.

Ein Vorbehalt hält diesen Abschnitt ehrlich: Exportfähigkeit ist eine kommerzielle Frage, die zu stellen ist, keine Compliance-Garantie, die man voraussetzen darf. Keine regulatorische Vorgabe verpflichtet einen Anbieter, Ihre Aufzeichnung zu bewahren, deshalb sind die vertraglichen und praktischen Fragen oben der einzige Schutz.

Der praktische Test führt diesen Abschnitt zum obigen Protokoll zurück: Führen Sie ein Pilotprojekt durch, fordern Sie die Exporte als Teil des Pilots an und unterziehen Sie das exportierte Material vor der Unterschrift dem Kaltrekonstruktionstest. Eine Anbieterdemonstration zeigt, was die Plattform erzeugen kann; der Test zeigt, ob sich das Erzeugte von einer fremden Person mit fünfzehn Minuten und ohne Login rekonstruieren lässt.

Bewahren Sie das Paket so lange auf, wie die Entscheidung erneut aufgerufen werden kann, und richten Sie diese Frist an der bestehenden Aufbewahrungsrichtlinie der Organisation für Vorstandsunterlagen aus, statt für KI-gestützte Arbeit einen neuen Zeitplan zu erfinden. Der Bezugspunkt, den die meisten Organisationen bereits haben, ist gesetzlich: Nach Section 248 des Companies Act 2006 muss jede britische Gesellschaft Protokolle aller Verhandlungen in Sitzungen ihrer Directors anfertigen lassen, und diese Aufzeichnungen müssen mindestens zehn Jahre ab dem Sitzungsdatum aufbewahrt werden.^[8] Eine Strategieanalyse, die in eine Vorstandsentscheidung eingeflossen ist, gehört natürlicherweise neben diese Unterlagen, unter dieselbe Aufbewahrungsdisziplin. Die damit verbundene Governance-Aufgabe besteht darin, in einer schriftlichen Richtlinie festzulegen, welches Dokument als offizielle Aufzeichnung der Entscheidung gilt. Über diese Ausrichtung hinaus wird hier keine konkrete Aufbewahrungsfrist vorgeschlagen, denn die richtige Frist hängt von der eigenen Richtlinie der Organisation und den Rechtsordnungen ab, denen sie unterliegt.

Drei Fehler erklären die meisten Reproduzierbarkeitslücken, die dieser Artikel verhindern soll, und jeder ist zu vernachlässigbaren Kosten vermeidbar, wenn er früh erkannt wird.

• Nur das PDF des Decks aufzubewahren. Das PDF erfasst das Ergebnis und sonst nichts: keinen Quellensatz, kein Briefing, keine Aussage-zu-Quelle-Zuordnung, kein Freigabeprotokoll. Es ist das Artefakt, das am wahrscheinlichsten existiert und am wenigsten in der Lage ist, die Käuferfrage allein zu beantworten.
• Sich auf den Login der Plattform als Archiv zu verlassen. Ein Login ist der Zugang zu einem laufenden System, keine Aufzeichnung eines vergangenen. Quellen ändern sich, Versionen werden ersetzt, Verträge enden, und wenn das geschieht, beantwortet der Login keine der Fragen, die er angeblich beantworten sollte.
• Die Aufzeichnung erst zu rekonstruieren, nachdem ein Einwand erhoben wurde. Eine unter Druck zusammengestellte Aufzeichnung liest sich als nachträgliche Rechtfertigung statt als Beleg, und niemand kann überprüfen, ob der rekonstruierte Quellensatz dem entspricht, was die Plattform tatsächlich gesehen hat. Die Aufzeichnung hat nur dann Wert, wenn sie angelegt wurde, bevor sie gebraucht wurde.

Decisity ist eine KI-native Plattform für Strategieberatung. Ihre Decks führen jede Aussage, jede Zahl und jede Empfehlung per Klick zu ihrer Quelle, und ihr Quellensatz und ihre Versionshistorie lassen sich exportieren. In den Begriffen dieses Artikels erzeugt die Plattform einen Großteil des Reproduzierbarkeitspakets als Nebenprodukt der Arbeit: Die Aussage-zu-Quelle-Zuordnung existiert, weil jede Aussage mit ihrem Ursprung verknüpft ist, und der eingefrorene Quellensatz und die Versionshistorie existieren, weil sie bei der Freigabe exportiert werden können. Das Paket ist damit eine kurze Zusammenstellungsaufgabe bei der Freigabe statt einer Ausgrabung sechs Monate später.

Die Plattform nimmt der Organisation nicht die Pflicht ab, die Aufzeichnung zu führen. Das Briefing muss weiterhin schriftlich festgehalten, die Prüfer müssen weiterhin benannt, die Ausschlüsse weiterhin ausgewiesen und das Paket weiterhin nach der eigenen Richtlinie der Organisation aufbewahrt werden. Was die Plattform abnimmt, ist die manuelle Arbeit, die Teile zusammenzustellen, die sie berührt, und der Kaltrekonstruktionstest gilt weiterhin für das Ergebnis. Eine Strategieanalyse verdient denselben Standard der Selbstbeschreibung, den dokumentierte Machine-Learning-Modelle bereits tragen, und die Organisation, die ihn von jedem Anbieter einfordert, ist diejenige, die die Frage des Vorstands sechs Monate später beantworten kann.

Weiterführende Artikel:

• Wie viel menschliche Prüfung braucht ein KI-Strategie-Deck?
• KI-gestützte Strategieanalyse vor einem skeptischen Vorstand präsentieren

• Nature: 1,500 scientists lift the lid on reproducibility (Baker, 2016)
• EU Artificial Intelligence Act: Article 12, Record-Keeping
• EUR-Lex: Regulation (EU) 2024/1689 (Artificial Intelligence Act)
• Digital Curation Centre: ISO 15489 (Standards Watch briefing paper)
• Kastenhofer, Archives and Manuscripts: The logic of archival authenticity: ISO 15489 and the varieties of forgeries in archives (2015)
• International Council on Archives: Principles and Functional Requirements for Records in Electronic Office Environments, Module 2
• Mitchell et al.: Model Cards for Model Reporting (arXiv, 2018)
• legislation.gov.uk: Companies Act 2006, section 248, Minutes of directors' meetings