KI-Strategie-Deck prüfen: Quellen gegenlesen

Ein Protokoll für die Praxis, um ein KI-erstelltes Strategie-Deck vor Vorstand oder Investitionsausschuss zu prüfen: was in welcher Reihenfolge zu kontrollieren ist, die fünf Verzerrungen, die in jeder Zahl stecken können, und was mit Aussagen geschieht, die sich nicht belegen lassen.

Ein roher Entwurf lädt zur Prüfung ein. Die Sprache stolpert, die Zahlen wirken vorläufig, und wer ihn liest, fragt von selbst, ob die Analyse trägt. Ein flüssiges Deck bewirkt das Gegenteil: Es beantwortet Fragen, bevor sie gestellt werden. Die Sätze sind vollständig, die Übergänge glatt, und die Belege stehen genau dort, wo eine sorgfältige Analystin sie setzen würde. Genau diese Politur macht das Deck in der Prüfung gefährlich, denn der an menschlicher Arbeit geschulte Instinkt der Prüferin lautet: Was gut liest, stimmt vermutlich. Sprachliche Flüssigkeit ist kein Beleg für Richtigkeit, dämpft aber verlässlich die Sorgfalt, die Richtigkeit verlangt.

Konfabulation ist der benannte Fehlermodus

Der Fehlermodus hat einen formalen Namen. Das US-amerikanische National Institute of Standards and Technology beschreibt in seinem Generative AI Profile (NIST AI 600-1, Juli 2024) Konfabulation als ein Phänomen, bei dem generative Systeme fehlerhafte oder falsche Inhalte erzeugen und selbstbewusst als Antwort auf eine Eingabe präsentieren, umgangssprachlich Halluzinationen oder Fabrikationen genannt.^[1] Dasselbe Dokument macht zwei Beobachtungen, die für jede Prüfung eines KI-erstellten Decks unmittelbar relevant sind. Erstens können generative Ausgaben konfabulierte Begründungen oder Quellenangaben enthalten, die die Antwort des Systems zu rechtfertigen scheinen und Menschen damit weiter dazu verleiten, dieser Ausgabe unangemessen zu vertrauen. Zweitens führt NIST Automatisierungsverzerrung und übermäßiges Vertrauen unter den Risiken auf, die aus dem Zusammenspiel von Mensch und KI-System entstehen: Je verlässlicher die Technik wirkt, desto weniger wird sie hinterfragt.

Keine der beiden Beobachtungen spricht gegen den Einsatz von KI in der Strategiearbeit. Sie sprechen für eine bestimmte Prüfhaltung. Wenn der Fehlermodus im selbstbewussten, gut belegt aussehenden Irrtum besteht, kann sich die Prüferin nicht auf den Instinkt verlassen, der bei menschlichen Entwürfen funktioniert, nämlich dort zu bohren, wo die Sprache schwach ist. Gebohrt werden muss dort, wo die Sprache stark ist.

• Flüssigkeit dämpft die Prüfung: Ein poliertes Deck unterdrückt die Fragen, die ein roher Entwurf provoziert.
• Konfabulation ist der benannte Fehlermodus: selbstbewusst formulierte, aber fehlerhafte oder falsche Inhalte, einschließlich erfundener Begründungen und Quellenangaben.
• Eine Prüfung nach Eindruck reicht daher nicht: Verifikation muss prozedural sein, eine feste Abfolge von Kontrollen, jedes Mal gleich ausgeführt, und kein Urteil darüber, wie sich das Deck liest.

Der Rest dieses Beitrags beschreibt genau dieses Verfahren. Es ist als Protokoll geschrieben, das sich heute auf ein bestehendes Deck anwenden lässt: Aussagen triagieren, jede zitierte Quelle öffnen, den Satz vergleichen, die Verzerrung benennen, über nicht Belegbares entscheiden und festhalten, wer abgezeichnet hat.

Die erste Sortieraufgabe besteht darin, zwei Arten von Aussagen zu trennen, die auf einer Folie identisch aussehen. Hinter einer belegbaren Aussage steht ein benanntes, reales, tatsächlich zu öffnendes Dokument: eine bestimmte Veröffentlichung einer bestimmten Organisation, die sich auffinden und lesen lässt. Belegförmige Prosa borgt sich lediglich den Tonfall der Quellenangabe. Sie nennt plausible Institutionen, plausible Jahreszahlen und plausible Zuschreibungen in der Grammatik der Evidenz, ohne dass am anderen Ende ein Dokument aufginge. Auf der Folie sind beide nicht zu unterscheiden. Beide lesen sich recherchiert. Nur eine übersteht den Klick.

Belegförmige Prosa übersteht das Überfliegen, weil sie darauf angelegt ist. Generative Modelle werden auf Texten trainiert, in denen auf Aussagen Zuschreibungen folgen; ihre Ausgabe reproduziert die Form der Zuschreibung daher flüssig, ob dahinter ein Dokument existiert oder nicht. Das ist keine hypothetische Sorge. Die Nachrichtenredaktion von Nature hat berichtet, dass halluzinierte Quellenangaben, also von KI erzeugte Verweise auf Veröffentlichungen, die es nicht gibt, in der publizierten wissenschaftlichen Literatur auftauchen,^[2] und eine Prüfung von 111 Millionen Literaturverweisen in 2,5 Millionen Arbeiten auf arXiv, bioRxiv, SSRN und PubMed Central ergab einen deutlichen Anstieg nicht existierender Verweise nach der breiten Einführung großer Sprachmodelle.^[3] Die wissenschaftliche Literatur ist der Kanarienvogel: Die Autoren der Prüfung merken an, dass Moderation von Preprints und Publikationsverfahren der Fachzeitschriften nur einen Bruchteil dieser Fehler abfangen.

Die praktische Schlussfolgerung für die Prüfung ist unmissverständlich. Es gibt kein verlässliches Unterscheidungsmerkmal zwischen beiden Kategorien außer dem Öffnen der Quelle. Den Satz noch einmal zu lesen hilft nicht. Zu fragen, ob die Zuschreibung richtig klingt, hilft nicht, denn Plausibilität ist genau das, worauf die Prosa optimiert ist. Der Test ist mechanisch: Für jede tragende Aussage das Dokument auffinden, öffnen und bestätigen, dass es sagt, was die Folie behauptet. Die Abschnitte drei und vier beschreiben diesen Vergleich im Detail.

Kern des Protokolls ist ein Nebeneinander-Vergleich, Aussage für Aussage. Für jede tragende Aussage im Deck gilt: die zitierte Quelle öffnen, die Passage suchen, auf der die Aussage beruht, und den Wortlaut der Quelle gegen den Wortlaut der Folie lesen. Nicht Thema gegen Thema, sondern Satz gegen Satz. Die meisten Verzerrungen in KI-erstellten Decks sitzen auf Satzebene, im Zwischenraum zwischen dem, was eine Quelle aussagt, und dem, was eine Zusammenfassung dieser Quelle nahelegt. Ein Vergleich auf Absatz- oder Themenebene fängt sie nicht.

Die Triage-Reihenfolge, die den Durchgang endlich hält

Ein vollständiges Deck enthält mehr Aussagen, als sich an einem Nachmittag prüfen lassen; der Durchgang braucht also eine Reihenfolge. Arbeiten Sie ihn in drei Stufen ab:

1. Zahlen zuerst. Jede Größe, die das Argument trägt: Marktvolumina, Kapazitäten, Prozentsätze, Wachstumsraten, Datumsangaben an Mengen. Das sind die Aussagen, die ein Gremium weitererzählt, und die Aussagen, bei denen ein einziges verändertes Wort die Bedeutung lautlos verschiebt.
2. Zuschreibungen als Zweites. Jede Aussage, die einer benannten Institution, Autorin oder Studie einen Befund zuschreibt. Prüfen Sie, ob die genannte Partei existiert, ob ihr dieser Befund in der Quelle zugeschrieben wird und ob sie zutreffend charakterisiert ist.
3. Narrativ zuletzt. Die Kausalketten und qualitativen Urteile: dass A zu B geführt habe, dass ein Markt konsolidiere, dass eine Fähigkeit ein Differenzierungsmerkmal sei. Diese sind schwerer zu widerlegen und in der Folge weicher, kommen also nach den Aussagen, die sich auf den Buchstaben prüfen lassen.

Wenn die Quelle hinter einer Bezahlschranke liegt, offline ist oder nicht existiert

Beim Öffnen einer Quellenangabe kann dreierlei geschehen. Die Quelle ist zugänglich und der Vergleich kann stattfinden. Die Quelle ist real, aber nicht zugänglich: hinter einer Bezahlschranke, offline oder nur in einer Fassung verfügbar, die sich in der verfügbaren Zeit nicht lesen lässt. Oder die Quelle existiert an der angegebenen Stelle nicht, oder überhaupt nicht. Behandeln Sie diese Fälle unterschiedlich. Eine unzugängliche Quelle ist ein Terminproblem: Die Aussage bleibt nur im Deck, wenn jemand mit Zugang den Vergleich vornimmt, andernfalls wird sie bis dahin zur Annahme herabgestuft. Eine nicht existierende Quelle ist kein Terminproblem. Die Aussage hat keine Stütze und geht in die weiter unten beschriebene Entscheidung. Was die Prüferin niemals tun darf: eine ungeöffnete Quellenangabe stehen lassen, weil die Zuschreibung glaubwürdig klang. Genau das ist der Fehler, den das Protokoll verhindern soll.

Der Vergleichsschritt lässt sich am besten an einem realen Fall lernen, und eine veröffentlichte Quelle zeigt ihn vollständig. Die Federal Reserve Bank of Dallas schreibt über den Wintersturm in Texas im Februar 2021 und seine Wirkung auf die Petrochemie: 'As much as 80 percent of U.S. basic organic chemicals capacity was offline after the storm, and up to 60 percent was still offline in mid-March.' Zu Deutsch: Bis zu 80 Prozent der US-Kapazität für organische Grundchemikalien lagen nach dem Sturm still, Mitte März waren es noch bis zu 60 Prozent. Derselbe Satz führt diese Zahlen auf Schätzungen von Wood Mackenzie zurück, einer Beratung für die Energiewirtschaft, und ergänzt, dass die Kapazität bis April weitgehend wiederhergestellt war.^[4] Ein Entwurf, der diese Quelle zusammenfasste, gab die erste Hälfte so wieder: 'roughly 80 percent of basic organic chemical capacity across the region', also rund 80 Prozent der Kapazität für organische Grundchemikalien in der Region.

Der Entwurfssatz liest sich einwandfrei. Er ist grammatisch korrekt, er liegt nah an der Quelle, und nichts daran wirkt falsch. Er enthält zwei Verzerrungen, und wer gelernt hat, sie zu benennen, findet beide in weniger als einer Minute.

Zuerst die verschobene Bezugsgröße. Die Dallas Fed beschreibt Kapazität in den Vereinigten Staaten, und sie kann das glaubwürdig tun, weil allein auf Texas der weit überwiegende Teil davon entfällt. Der Entwurf macht aus dieser nationalen Größe eine regionale. Je nachdem, welche Region sich Lesende vorstellen, beschreibt die Zahl nun eine andere Grundgesamtheit als die Quelle, und das Argument der Folie kann auf der regionalen Lesart beruhen. Der verschobene Grenzwert ist subtiler und im Gremienkontext folgenreicher. 'As much as 80 percent' ist eine Obergrenze: der schlechteste Fall, der Höchststand der stillgelegten Kapazität. 'Roughly 80 percent' ist ein mittlerer Schätzwert: der typische Wert, die Zahl, mit der man plant. Einen Extremfall als Mittelwert zu präsentieren lässt ein schlechtes Szenario wie das erwartete aussehen, und genau diesen stillen Optimismus sollte ein Gremium nicht unbemerkt übernehmen.

Halten Sie fest, worin die Prüfung bestand. Keine forensische Technik, kein statistischer Test. Die Prüferin öffnete das zitierte Dokument, fand den Satz und verglich den Wortlaut. Jede Verzerrung in diesem Beispiel war in diesem Vergleich sichtbar, und keine war es im Entwurfssatz allein.

Das Praxisbeispiel zeigte zwei von fünf wiederkehrenden Verzerrungen. Zusammen bilden sie die Checkliste, die eine Prüferin gegen jede tragende Zahl laufen lässt: Bezugsgröße, Grenzwert, Zeitraum, Einheit und Zuschreibung. Jede ist eine einzelne Dimension, auf der eine Zusammenfassung von ihrer Quelle abdriften kann, während der Satz sich weiterhin sauber liest.

Drei davon verdienen über die Tabelle hinaus ein Wort zur Veranschaulichung. Eine Zeitraumverzerrung entsteht, wenn eine an einen bestimmten Zeitraum gebundene Zahl, ein einzelnes Quartal oder ein bestimmter Monat, ohne diesen Anker wiedergegeben wird, sodass aus einer Momentaufnahme im Kopf der Lesenden ein Trend wird. Eine Einheitenverzerrung entsteht, wenn die gemessene Größe in der Zusammenfassung ihren Charakter ändert: Aus Kapazität wird Ausbringung, aus dem Anteil an einer Basis der Anteil an einer anderen, aus einem Bestand eine Bewegung. Eine Zuschreibungsverzerrung entsteht, wenn die Zusammenfassung eine Zahl einer Institution zuschreibt, die die Quelle anders zuordnet, oder die Rolle der Quelle stärker darstellt, als die Quelle selbst es tut, etwa indem aus einer Branchenschätzung eine amtliche Statistik wird.

Denken Sie schließlich daran, dass die Verzerrungen gemeinsam auftreten. Das Praxisbeispiel trug zwei in einem einzigen Halbsatz, und nichts hindert eine Umformulierung daran, drei zu tragen. Deshalb ist die Prüfung ein Satzvergleich und kein Blick auf einzelne Zahlen: Ein Vergleich kann mehrere Fehler zugleich zutage fördern, ein Blick auf die Zahl nur den ersten.

Manche Aussagen überstehen den Durchgang nicht: Die Quelle existiert nicht, sie sagt etwas anderes, oder sie lässt sich nicht rechtzeitig öffnen. Für jede solche Aussage gibt es genau drei vertretbare Entscheidungen, und die Prüferin sollte bewusst zwischen ihnen wählen, statt es dem Zufall zu überlassen.

• Aussage streichen. Trägt sie das Argument nicht für sich allein, ist Löschen die sauberste Entscheidung. Das Deck läuft auf dem weiter, was die Prüfung überstanden hat.
• Als Annahme kennzeichnen. Braucht das Argument die Aussage, formulieren Sie sie im Deck ausdrücklich als Annahme, für das Publikum als solche erkennbar, und übernehmen Sie sie in das unten beschriebene Annahmenverzeichnis.
• Neu belegen. Stützt ein Dokument, das die Prüferin geöffnet hat, die Aussage, ersetzen Sie Quellenangabe und Wortlaut durch das, was dieses Dokument tatsächlich sagt, und nehmen Sie die neue Quelle in den Prüfnachweis auf.

Warum Unschärfe keine Sicherheit ist

Zu widerstehen ist der vierten Möglichkeit, die jeder unter Zeitdruck einfällt: dem Abschwächen. Eine nicht belegbare Zahl wird als 'erheblich', 'wesentlich' oder 'ein großer Anteil' umgeschrieben, und die Folie liest sich nun als selbstbewusste Prosa, an der es nichts mehr zu prüfen gibt. Das ist die Abschwächungsfalle. Unschärfe ist keine reduzierte Aussage, sie ist eine unprüfbare, und sie liest sich in einem Deck wie gesichertes Wissen statt wie die Unsicherheit, die sie verdeckt. Wer als Gremienmitglied bei einer vagen Aussage nachbohrt, findet nichts zum Nachbohren, und genau das ist das Problem. Lässt sich eine Zahl nicht belegen, sind die ehrlichen Darstellungen Streichung oder ausdrückliche Annahme, nicht ein Synonym.

Das Annahmenverzeichnis macht die zweite Möglichkeit praktikabel. Es ist eine einzige, gepflegte Liste jeder Aussage im Deck, die als Annahme und nicht als geprüfte Tatsache steht, jeweils mit ihrer Herkunft und, wo möglich, mit dem Beleg, der sie bestätigen würde. Das Verzeichnis gehört in den Anhang oder die Backup-Unterlagen, und es verändert die epistemische Struktur des Decks: Seine Glaubwürdigkeit ruht nun sichtbar auf den geprüften Aussagen, der Rest ist gekennzeichnet. Wer auf Nachfrage zwischen Geprüftem und Angenommenem unterscheiden kann, steht im Raum deutlich stärker da als jemand, dessen Deck in jedem Satz gleich sicher klingt.

Die Prüfung endet bei einer benannten Person. Wer präsentiert, verantwortet den Prüfnachweis: die Liste der geprüften tragenden Aussagen, die je geöffnete Quelle und den vorgenommenen Vergleich, einschließlich der gefundenen Verzerrungen und der getroffenen Entscheidungen. Das ist keine Bürokratie. Es macht aus dem Protokoll statt einer privaten Gewohnheit einen Führungsakt, und es erlaubt, das Deck zu verteidigen, wenn ein Gremienmitglied Wochen später fragt, woher eine Zahl stammt. Die Antwort ist ein Dokument, keine Erinnerung.

• Jede tragende Aussage in der verwendeten Triage-Reihenfolge: Zahlen, dann Zuschreibungen, dann Narrativ.
• Die für jede Aussage geöffnete Quelle und der verglichene Satz.
• Gefundene Verzerrungen, nach Typ benannt, und wie sie jeweils aufgelöst wurden: korrigiert, gestrichen oder als Annahme gekennzeichnet.
• Das Annahmenverzeichnis mit jeder Aussage, die das Deck als Annahme trägt.
• Der Name der Person, die den Vergleich vorgenommen hat, und das Datum des Abschlusses.

Die Abzeichnung ist ein Führungsakt, keine Formalie. Der Oversight-Werkzeugkasten Empowering AI Leadership des Weltwirtschaftsforums für Verwaltungs- und Aufsichtsräte beruht auf dieser Arbeitsteilung: Das Management entwickelt und vollzieht Strategie in einer von KI geprägten Welt, während die Rolle des Gremiums in der Aufsicht über die Entscheidungen des Managements und deren Ergebnisse liegt.^[5] Ein Deck, das ein Gremium oder einen Investitionsausschuss erreicht, ist genau ein solcher Entscheidungsinput, und wer es vorlegt, verantwortet, was darin geprüft und was angenommen ist. Den Prüfnachweis zu unterschreiben macht diese Verantwortung ausdrücklich statt stillschweigend.

Das hier beschriebene Protokoll ist bewusst werkzeugunabhängig: Es lässt sich auf jedes Deck aus jedem Entstehungsprozess anwenden. Der Aufwand hängt jedoch stark davon ab, wie das Deck gebaut wurde. Decisity ist eine KI-native Strategieplattform, deren Ausgabe auf Prüfbarkeit angelegt ist: Jede Aussage und jede Zahl in einem Decisity-Deck führt per Klick zu ihrer Quelle, sodass der Vergleichsschritt dieses Protokolls als schneller Durchgang statt als forensische Übung läuft und sich der Prüfnachweis aus den nachvollziehbaren Verknüpfungen selbst zusammensetzt, statt nachträglich rekonstruiert zu werden. Für Teams, die vor Gremien und Investitionsausschüssen präsentieren, ist das der Unterschied zwischen Prüfung als Projekt und Prüfung als Teil des Arbeitsablaufs. Der zugrunde liegende Maßstab ist in beiden Fällen derselbe, und es ist der, den dieser Beitrag durchgehend angelegt hat: Ein Deck ist fertig, wenn jede tragende Aussage darin geöffnet, verglichen und abgezeichnet wurde.

• NIST AI 600-1: Generative Artificial Intelligence Profile
• Nature: Hallucinated citations are polluting the scientific literature. What can be done?
• LLM hallucinations in the wild: Large-scale evidence from non-existent citations
• Dallas Fed: Texas winter deep freeze broke refining, petrochemical supply chains
• World Economic Forum: Empowering AI Leadership, Oversight Toolkit for Boards of Directors