Wie viel menschliche Prüfung braucht ein KI-Strategie-Deck?

Der Prüfaufwand verschwindet mit KI-Entwürfen nicht; er verlagert sich vom Erstellen der Folien zum Verifizieren der Aussagen. Ein dreistufiges Protokoll aus Quellencheck, Logikcheck und unabhängiger Freigabe braucht für ein Vorstandsdeck mit 30 bis 40 Folien grob 6 bis 12 Stunden: Erfahrungswerte aus der Praxis, keine Umfragedaten.

Für ein typisches Vorstandsdeck mit dreißig bis vierzig Folien, das auf einer KI-Strategieplattform erstellt wurde, sollten Sie grob sechs bis zwölf Stunden strukturierter Prüfung über drei unterschiedliche Rollen einplanen: einen Analysten oder Associate, den Projektverantwortlichen und eine unabhängige Führungskraft, die die Freigabe unterzeichnet. Das sind Erfahrungswerte aus der Praxis, keine Umfragedaten, und der nächste Abschnitt legt die Annahmen dahinter offen. Die direkte Antwort auf die Käuferfrage lautet also: drei Personen und etwa eineinhalb Arbeitstage kombinierter Prüfzeit, ungleich über die Hierarchieebenen verteilt.

Der Prüfaufwand verschwindet nicht, wenn das Deck maschinell entworfen wird; er verlagert sich. In einem konventionellen Projekt fließt ein Großteil der Senior-Zeit des Teams in das Erstellen und Prüfen jeder Folie und in die folgenden Überarbeitungsschleifen. Bei einem KI-generierten Deck geschieht der Entwurf nahezu sofort, und die Zeit verschiebt sich zum Verifizieren der tragenden Aussagen und zum Test, ob die Storyline trägt. Die Stunden sind in Summe vergleichbar; was sich ändert, ist, wo sie anfallen und was ein Fehler auf jeder Stufe kostet.

• Stufe 1, der Quellencheck: Ein Analyst oder Associate öffnet jede tragende Zahl an ihrer zitierten Quelle. Grob drei bis sechs Stunden.
• Stufe 2, der Logik- und So-what-Check: Der Projektverantwortliche prüft, ob die Storyline aus der Evidenz folgt. Grob zwei bis vier Stunden.
• Stufe 3, die unabhängige Freigabe: Ein Partner oder eine Führungskraft außerhalb des Projekts liest das Deck ohne Vorwissen und bestätigt, dass die Empfehlung vertretbar ist. Grob ein bis zwei Stunden.

Wer diese Rollen ausfüllt, braucht mehr als freie Kapazität. Das Datenschutz-Prüfrahmenwerk der britischen ICO hält fest, dass menschliche Prüfer über angemessenes Wissen, Erfahrung, Befugnis und Unabhängigkeit verfügen sollten, um Entscheidungen infrage zu stellen, und dass eine nicht substanzielle menschliche Prüfung durch Automation Bias oder mangelnde Interpretierbarkeit verursacht wird^[1]. Dasselbe Rahmenwerk verlangt, dass Prüfern eine bewältigbare Fallzahl zugewiesen wird, mit ausreichenden Ressourcen, um ihren Aufgaben angemessene Zeit zu widmen. Ein Prüfer mit der Seniorität, Einwände zu erheben, aber ohne Zeit, Quellen zu öffnen, prüft nur dem Namen nach.

Das folgende Protokoll ist der überprüfbare Kern dieses Artikels: drei Stufen, jede mit einer benannten Rolle, einer abgegrenzten Verantwortung, einem definierten Ergebnis und einem Fehlermodus. Es ist so angelegt, dass ein Leiter Strategie es zuweisen, ein Projektverantwortlicher es durchführen und ein Partner es unterzeichnen kann. Die Faktencheck-Disziplin hinter Stufe 1 wird in einem begleitenden Leitfaden zum Faktencheck eines KI-generierten Strategie-Decks ausführlicher dargestellt.

Die Stundenspannen setzen ein Deck mit dreißig bis vierzig Folien und grob fünfzehn bis fünfundzwanzig tragenden Zahlen voraus, Quellen, die mit einem Klick erreichbar sind statt per Suche rekonstruiert werden müssen, und Prüfer, die das Fachgebiet kennen. Sie setzen nichts über die Genauigkeit des Werkzeugs voraus; sie beschreiben Verifikationsaufwand, keine Fehlerquoten. Stützt sich ein Deck auf einen Datensatz, den der Prüfer bereits gut kennt, kann Stufe 1 am unteren Ende ihrer Spanne liegen; zitiert es Marktdaten Dritter, die der Prüfer noch nie gesehen hat, kann sie das obere Ende überschreiten.

Jede Stufe scheitert anders, und der Fehlermodus entscheidet, was als Nächstes geschieht. Findet Stufe 1 eine Zahl, die nicht zu ihrer Quelle passt, wird die Aussage korrigiert oder gestrichen und die Liste geht zurück an Stufe 2; eine Aussage ohne Quelle wird markiert, nicht vom Prüfer stillschweigend repariert. Stellt Stufe 2 fest, dass die Storyline nicht aus der Evidenz folgt, wird das Deck überarbeitet, bevor eine Freigabe eingeholt wird. Verweigert Stufe 3 die Unterschrift, erreicht die Empfehlung den Vorstand nicht, was auch immer der Zeitplan sagt. Zu den erklärten Erwartungen des ICO-Rahmenwerks gehört, dass Organisationen ein Protokoll darüber führen, wann KI-Entscheidungen von einem menschlichen Prüfer übersteuert wurden, einschließlich der Gründe^[1], und das ist das richtige Modell für die Dokumentation aller drei Stufen.

Wie viel des Protokolls anzuwenden ist, bestimmt die Tragweite der Entscheidung, nicht das Werkzeug, das das Deck entworfen hat. Die Verhältnismäßigkeitslogik hat ein regulatorisches Gegenstück: Artikel 14 Absatz 3 des EU AI Act, Verordnung (EU) 2024/1689, bestimmt, dass Maßnahmen zur menschlichen Aufsicht den Risiken, dem Grad der Autonomie und dem Nutzungskontext des Hochrisiko-KI-Systems angemessen sein müssen^[3][2]. Dieser Artikel gilt nur für Hochrisiko-KI-Systeme im Sinne der Verordnung, etwa die in Anhang III aufgeführten, und begründet keine Pflichten für interne Strategie-Decks. Der nützliche Punkt für eine Strategieführungskraft ist das Prinzip, nicht die Verpflichtung: Der Aufsichtsaufwand sollte damit skalieren, was ein falsches Ergebnis kosten würde.

Das Muster lautet: Der Prüfaufwand folgt der Umkehrbarkeit. Ein Monatsupdate, das sich als falsch erweist, kostet eine Korrektur; eine Markteintrittsempfehlung, die sich als falsch erweist, kostet das Kapital. Das Protokoll flext im ersten Fall nach unten und fällt im letzten nie unter alle drei Stufen.

Ein flüssiges, sauber formatiertes KI-Deck wird weniger kritisch geprüft als ein grober Entwurf, und das ist das am besten dokumentierte Risiko im gesamten Arbeitsablauf. Die Übersichtsarbeit von Parasuraman und Manzey zu Selbstzufriedenheit und Verzerrung beim menschlichen Einsatz von Automatisierung, 2010 in Human Factors erschienen, stellte fest, dass Automation Bias sowohl bei unerfahrenen als auch bei erfahrenen Teilnehmern auftritt, durch Schulung oder Anweisungen nicht verhindert werden kann und die Entscheidungsfindung von Einzelpersonen wie von Teams beeinträchtigen kann^[4]. Fachkompetenz nimmt den Prüfer nicht aus; sie kann die Prüfung unnötig erscheinen lassen.

Dieselbe Literatur benennt, wann sich die Verzerrung verstärkt. Die systematische Übersichtsarbeit von Goddard, Roudsari und Wyatt zu Automation Bias, 2011 im Journal of the American Medical Informatics Association erschienen, stellte fest, dass zu den Umgebungsfaktoren Arbeitsbelastung, Aufgabenkomplexität und Zeitdruck gehörten, die die kognitiven Ressourcen beanspruchten^[5]. Ein Prüfer, der am Ende einer vollen Woche ein poliertes Deck erhält, mit einer Vorstandssitzung am nächsten Morgen, ist nah am schlimmsten Fall: hohe Belastung, hoher Zeitdruck und ein Ergebnis, das fertig aussieht.

• Schützen Sie die Prüfzeit im Kalender als eigenen Block, so wie früher die Entwurfszeit, statt zu erwarten, dass sie sich in den Randzeiten des Tages unterbringen lässt.
• Sagen Sie dem Prüfer, worauf er achten soll, bevor er das Deck öffnet: die tragenden Zahlen, die drei folgenreichsten Aussagen, die Abhängigkeit der Empfehlung von markierten Daten.
• Behandeln Sie Flüssigkeit als Eigenschaft der Formatierung, nicht der Evidenz. Ein gut strukturiertes Deck mit einer falschen Einheitenumrechnung ist immer noch falsch.

Ein Prüfer kann nicht verifizieren, was er nicht nachverfolgen kann. Das obige Protokoll ist nur durchführbar, wenn die Plattform drei Dinge sichtbar macht, und ein Käufer sollte alle drei in einer Demonstration testen, bevor er sich bindet.

• Klickbare Aussage-zu-Quelle-Links, damit Stufe 1 die zitierte Quelle in einem Schritt öffnet, statt sie zu suchen. Ohne sie verdoppeln sich die drei bis sechs Stunden aus der Tabelle oben grob, und manche Aussagen bleiben schlicht ungeprüft.
• Eine sichtbare Liste unbelegter Aussagen, damit der Prüfer weiß, wo die Lücken sind, statt anzunehmen, es gebe keine. Eine nicht markierte Lücke ist der eine Fehler, den Stufe 1 nicht fangen kann, weil der Prüfer nicht weiß, dass die Aussage existiert.
• Eine Versionshistorie, damit die Dokumentation dessen, was sich zwischen den Prüfrunden geändert hat, erhalten bleibt und Stufe 3 das Deck freigibt, das tatsächlich geprüft wurde.

Diese Funktionen sind keine Annehmlichkeiten; sie sind das, was eine Prüfung substanziell hält. Nachvollziehbarkeit wirkt auf beide Hälften des oben beschriebenen Problems: Sie verkürzt den Verifikationsweg, wenn die Zeit knapp ist, und sie macht die Grundlage jeder Aussage interpretierbar. Ein prüfbares Deck, in dem jede Zahl eine nachvollziehbare Quelle trägt, macht das in der Praxis möglich.

Zwei Ausschlüsse sind so wichtig wie die Rollenzuweisungen. Erstens sollte die Person, die das Briefing geschrieben hat, nicht der einzige Prüfer sein. Sie ist in ihrem eigenen Rahmen verankert: der Hypothese, die sie aufgestellt hat, dem Umfang, den sie gesetzt hat, den Quellen, die sie geliefert hat. Sie wird prüfen, ob das Deck ihr Briefing beantwortet, nicht, ob das Briefing richtig war. Stufe 2 oder Stufe 3 muss bei jemandem liegen, der dem Rahmen selbst widersprechen kann, eine Arbeitsteilung, die ein begleitender Beitrag dazu, wo menschliches Urteilsvermögen in der KI-Unternehmensberatung zählt, weiter ausführt.

Zweitens sind die eigenen Konfidenzanzeigen der Plattform keine Prüfung. Ein Konfidenzwert ist ein Ergebnis desselben Systems, das geprüft wird, erzeugt von demselben Modell aus denselben Dokumenten. Ihn der Plattform als Beleg zurückzuspiegeln, sagt dem Prüfer nichts, wofür er nicht ohnehin schon auf die Plattform angewiesen wäre. Er gehört in dieselbe Kategorie wie die Formatierung des Decks: überzeugend und als Beleg leer.

• Formatierung statt Aussagen prüfen. Schriftwahl und Diagrammstile sind fünf Minuten wert, keine Stufe.
• Einige Folien stichprobenartig prüfen und auf den Rest hochrechnen. Fehler häufen sich um tragende Zahlen, und genau die sind keine Zufallsstichprobe.
• Die beim Entwerfen gesparte Zeit als von der Prüfung abgezogene Zeit behandeln. Die gesparten Stunden sind das Budget der Prüfung, keine Einsparung, die man verbuchen kann.

Decisity ist eine KI-native Plattform für Strategieberatung, und das obige Protokoll entspricht weitgehend dem, wie ihre Prüffunktionen gedacht sind. Die Decks, die sie erzeugt, führen jede Aussage, jede Zahl und jede Empfehlung per Klick zu ihrer Quelle, und sie listet unbelegte Aussagen zur Prüfung über ihre AI Strategy Engine auf. Das ist es, was Stufe 1 durch das Öffnen von Quellen statt durch deren Suche abschließbar macht, und der Grund, warum die Stundenspannen in diesem Artikel Ein-Klick-Nachvollziehbarkeit voraussetzen.

Dieselbe Nachvollziehbarkeit erlaubt es Stufe 2 und Stufe 3 zu sehen, was geprüft und was markiert wurde, statt sich auf das Wort des Projektverantwortlichen zu verlassen. Interpretierbarkeit dieser Art unterscheidet eine substanzielle Prüfung von einer nominellen. Der dreistufige Arbeitsablauf der Plattform, von der Dokumenteneingabe bis zu vorstandsreifen Decks, ist auf der Seite So funktioniert es beschrieben.

Das Protokoll, nicht das Werkzeug, bestimmt den Prüfaufwand. Aufgabe des Werkzeugs ist es, die Prüfung so günstig zu machen, dass sie tatsächlich stattfindet: Quellen einen Klick entfernt, Lücken gelistet statt versteckt, Versionen dokumentiert. Die Tragweite der Entscheidung bestimmt, wie viele Stufen laufen und wer unterschreibt. Nichts an einem KI-generierten Deck ändert diese Rechnung, und nichts sollte das dürfen.

Weiterführende Artikel:

• Können wir eine KI-Strategieanalyse sechs Monate später reproduzieren?
• KI-generiertes Strategie-Deck prüfen: Quellen gegenlesen

• ICO: Data protection audit framework, Artificial intelligence toolkit, Human review
• EUR-Lex: Regulation (EU) 2024/1689 (Artificial Intelligence Act)
• EU Artificial Intelligence Act: Article 14, Human Oversight
• Parasuraman and Manzey, Human Factors: Complacency and bias in human use of automation, an attentional integration (2010)
• Goddard, Roudsari and Wyatt, JAMIA: Automation bias, a systematic review of frequency, effect mediators, and mitigators (2011)