KI-Strategieplattform pilotieren: der Backtest

Bevor Sie sich auf eine KI-Strategieplattform festlegen, unterziehen Sie sie einem Backtest: Lassen Sie ein Mandat, das Ihr Team bereits abgeschlossen hat, mit dem Original-Briefing und dem damaligen Dokumentensatz erneut durchlaufen, und bewerten Sie das Ergebnis an dem Deck, das das Gremium tatsächlich gesehen hat. Dieser Leitfaden beschreibt das Protokoll, ein Raster mit sechs Dimensionen, die beim Anbieter anzufordernden Unterlagen und das, was Bestehen und Scheitern ausmacht.

Wie bewertet man eine KI-Strategieplattform, bevor man sich festlegt, und was sollte ein Pilot tatsächlich prüfen? Die direkte Antwort lautet: Testen Sie die Plattform an einer Arbeit, die Ihr Team bereits abgeschlossen hat, mit demselben Briefing und denselben Dokumenten, die dem Team damals vorlagen, und bewerten Sie das Ergebnis an dem Deck, das Ihr Vorstand oder Investitionsausschuss tatsächlich gesehen hat. Ein Pilot nach diesem Prinzip zeigt Ihnen, was keine Vorführung zeigen kann, weil Sie die richtige Antwort und die Stolperstellen bereits kennen. Alles Weitere in diesem Artikel ist ein Protokoll, um genau das zu tun.

Die Last liegt deshalb beim Käufer, weil eine Anbieterdemo darauf angelegt ist, Sprachgewandtheit zu beweisen, nicht Urteilskraft. Der Anbieter wählt die Beispieldaten, formuliert die Frage und kontrolliert die Erzählung rund um das Ergebnis. Auf kuratiertem Material wirkt ein Sprachmodell fast immer beeindruckend, weil die Testbedingungen genau die beiden Dinge entfernt haben, an denen Strategiearbeit tatsächlich scheitert: unordentliche, unvollständige Dokumente und eine Frage, die schwieriger ist, als sie zunächst erscheint. Sprachgewandtheit unter kontrollierten Bedingungen ist eine Eigenschaft der Technologie; Richtigkeit bei Ihrem Problem ist eine Eigenschaft des konkreten Systems, angewandt auf Ihre Dokumente, und nur Sie können Letzteres messen.

Regulierungsbehörden und Normungsgremien weisen in dieselbe Richtung. Im September 2024 kündigte die US-amerikanische Federal Trade Commission die Operation AI Comply an, eine koordinierte Aktion mit fünf Durchsetzungsverfahren gegen Anbieter, die sich auf KI-Hype stützten oder Leistungsversprechen ohne Belege machten, darunter ein Unternehmen, das nie geprüft hatte, ob die Ausgabe seiner KI der Expertise der Fachleute entsprach, die es zu ersetzen behauptete^[1]. Die Position der Behörde: Es gibt keine KI-Ausnahme vom geltenden Recht zu irreführenden Aussagen^[1]. Ein Käufer, der das Leistungsversprechen eines Anbieters ohne Belege akzeptiert, ist genau der Lücke ausgesetzt, die die FTC verfolgt hat: einer Behauptung, die niemand geprüft hat.

Auch der Messgedanke hat in der Normungsarbeit einen festen Platz. Das US-amerikanische National Institute of Standards and Technology veröffentlichte im Januar 2023 sein Artificial Intelligence Risk Management Framework zur freiwilligen Nutzung durch Organisationen, die KI-Systeme entwickeln, einsetzen oder nutzen, und baute es um vier Funktionen auf: govern, map, measure und manage^[2]. Das Rahmenwerk beschreibt einen flexiblen, strukturierten und messbaren Prozess für den Umgang mit KI-Risiken und behandelt Messung und Überwachung als Voraussetzung für Vertrauen, nicht als Zugabe^[2]. Ein Backtest ist diese Messfunktion, angewandt auf eine konkrete Beschaffungsentscheidung.

Die folgenden Abschnitte liefern das vollständige Protokoll: wie Sie das Backtest-Mandat auswählen und durchführen, das Sechs-Dimensionen-Raster zur Bewertung des Ergebnisses, die beim Anbieter einzufordernden Unterlagen, wer den Piloten durchführen und freigeben sollte, und die beiden Pilotdesigns, die zuverlässig eine falsche Antwort liefern. Das Ziel ist durchgehend, dass die Einführungsentscheidung auf Belegen ruht, die Sie selbst erzeugt haben, nicht auf einer Erzählung des Anbieters.

Ein Backtest lässt Strategiearbeit, die Ihr Team bereits beendet hat, erneut laufen und bewertet die Plattform an einem bekannten Ergebnis. Die Logik stammt aus der quantitativen Finanzwirtschaft, wo eine Strategie an historischen Daten geprüft wird, bevor Kapital eingesetzt wird. Das Protokoll hat vier Schritte.

1. Wählen Sie ein abgeschlossenes Mandat aus und frieren Sie die Eingaben ein. Beschaffen Sie das Original-Briefing genau so, wie es erteilt wurde, und den Dokumentensatz, der dem Team damals tatsächlich vorlag. Nichts Späteres: keine finalen Daten, kein Feedback des Gremiums, keine Dokumente, die nach der Empfehlung entstanden sind. Der Test ist nur gültig, wenn die Plattform exakt das sieht, was das Team gesehen hat.
2. Lassen Sie die Plattform bis zum fertigen Deck laufen und protokollieren Sie die Laufbedingungen. Halten Sie fest, welche Modellkonfiguration verwendet wurde, wie lange der Lauf dauerte, welche Prompts oder Scoping-Eingaben nötig waren und wo Menschen eingegriffen haben. Diese Bedingungen sind Teil des Belegs: Ein Ergebnis, das nur nach umfangreicher manueller Korrektur standhält, ist ein anderes Produkt als eines, das in einem sauberen Lauf standhält.
3. Bewerten Sie das Ergebnis am finalen, von Menschen erstellten Deck mit dem festen Sechs-Dimensionen-Raster aus dem nächsten Abschnitt. Bewerten Sie jede Dimension, auch die, in denen die Plattform gut abschneidet, damit das Profil über Anbieter und über die Zeit hinweg vergleichbar ist.
4. Vergleichen und entscheiden Sie. Wo das Plattformergebnis vom menschlichen Deck abweicht, fragen Sie, welche Version das Gremium bevorzugt hätte und wo die Plattform etwas gefunden hat, das dem Team entgangen ist. Diese Unterschiede, nicht der Gesamteindruck, sind der Befund.

Der Wert des Protokolls liegt in der Referenzwahrheit, die es dem Bewerter gibt: Sie wissen bereits, welche Datenpunkte Fallen waren und welche Folien das Gremium angezweifelt hat, sodass jede Aussage an einem Ergebnis geprüft werden kann, das der Anbieter nicht kontrolliert. Genau das macht es unmöglich, ein sprachlich gewandtes, aber hohles Ergebnis als Analyse auszugeben.

Ein Hinweis zum Umfang. Ein einzelner Backtest ist ein Datenpunkt zu einer Problemklasse. Wenn das Pilotbudget es zulässt, führen Sie zwei Mandate unterschiedlichen Typs durch, etwa ein Markteintritts-Screening und eine Portfolio-Review, um zu sehen, ob die Leistung über die Art von Arbeit hinweg trägt, die Sie tatsächlich beauftragen. Das Protokoll ist günstig genug, um es zu wiederholen, denn die Eingaben existieren bereits.

Bewerten Sie das Backtest-Ergebnis auf sechs festen Dimensionen. Sie im Voraus festzulegen ist wichtig: Es verhindert, dass die Bewertung zu dem abdriftet, was die Plattform zufällig gut kann, und macht Ergebnisse vergleichbar, wenn Sie mehr als einen Anbieter testen. Das Raster hat auch ein regulatorisches Echo. Der EU AI Act verlangt, dass die Gebrauchsanweisung für Hochrisiko-KI-Systeme das Maß an Genauigkeit, einschließlich der Metriken, offenlegt, anhand dessen das System getestet und validiert wurde, damit Betreiber die Ausgabe interpretieren und angemessen nutzen können^[3]. Ein Käufer, der dieses Raster anwendet, tut im Kleinen, was diese Vorschrift vom Betreiber erwartet: gegen benannte Metriken prüfen, bevor er das System nutzt.

Zwei Dimensionen verdienen Nachdruck, weil dort sprachgewandte Systeme scheitern. Quellenprüfbarkeit ist die Dimension, die ein Analysewerkzeug von einem gut schreibenden Textgenerator trennt. Auslassungen ist die Dimension, die Käufer am häufigsten zu bewerten vergessen: Eine Plattform kann ein korrektes, gut belegtes Deck liefern, das den Punkt verfehlt, auf den es dem Gremium tatsächlich ankam, und nur ein Vergleich mit dem echten Deck zeigt das. Bewerten Sie jedes Mal alle sechs und halten Sie die Belege für jede Bewertung fest, denn der Bewertungsbogen ist selbst das Dokument, auf dem die Freigabe ruht.

Das Mandat, das Sie wählen, bestimmt, wie viel der Backtest Ihnen sagen kann. Drei Kriterien steuern die Auswahl, und sie ziehen in verschiedene Richtungen; rechnen Sie also mit einem Kompromiss statt mit dem perfekten Fall.

• Aktuell genug, um rekonstruierbar zu sein. Das Original-Briefing, der Dokumentensatz in seinem damaligen Stand und das finale Deck müssen alle noch existieren und auffindbar sein. Das spiegelt den Grundsatz der Speicherbegrenzung in der UK GDPR, Artikel 5(1)(e), wonach personenbezogene Daten nicht länger in identifizierbarer Form aufbewahrt werden dürfen, als es für die Zwecke der Verarbeitung erforderlich ist^[4]. Wenn Ihre Aufbewahrungsrichtlinie bereits gewirkt hat, sind die Materialien weg und das Mandat lässt sich nicht backtesten, so gut es sonst als Kandidat wäre.
• Strittig genug, um aufschlussreich zu sein. Wählen Sie ein Mandat, bei dem der Vorstand oder Investitionsausschuss widersprochen hat: bei dem eine zentrale Annahme angezweifelt, ein Exhibit hinterfragt oder die Empfehlung überarbeitet wurde. Ein glattes Mandat prüft nichts, denn es gab keine Fallen. Ein strittiges zeigt, wie die Plattform mit Mehrdeutigkeit, schwacher Evidenz und einer Frage umgeht, die unterwegs ihre Form geändert hat, und genau dort neigt KI-generierte Strategiearbeit zum Scheitern.
• Nicht vertraulicher als die Datenbedingungen des Piloten erlauben. Der Dokumentensatz wird unter dem Auftragsverarbeitungsvertrag des Piloten beim Anbieter hochgeladen; das Mandat muss also eines sein, das Sie auf externer Infrastruktur verarbeiten dürfen. Alles, was personenbezogene Daten, laufende Transaktionen oder beschränktes Deal-Material berührt, liegt außerhalb eines ersten Piloten, sofern der Vertrag es nicht ausdrücklich abdeckt.

Eine praktische Shortlist sieht so aus: eine Markt- oder Wettbewerbsanalyse aus den letzten ein bis zwei Jahren, eine Make-or-buy- oder Portfolioentscheidung, die mindestens zwei Gremiumsrunden durchlaufen hat, oder ein Due-Diligence-Screening, bei dem das Team später erfahren hat, wie die Antwort hätte lauten müssen. Meiden Sie das jüngste Mandat, wenn seine Lehren politisch noch heikel sind, und meiden Sie das einfachste, denn ein Backtest, der nichts abverlangt, lehrt nichts.

Bevor eines Ihrer Dokumente geteilt wird, sollte der Anbieter eine Reihe von Unterlagen vorlegen können, mit denen Sie prüfen, wie sich die Plattform verhält und wie Ihre Daten behandelt würden. Fordern Sie sie zu Beginn des Piloten schriftlich an, und werten Sie Verweigerung oder Verzögerung bei einer davon selbst als Befund.

• Ein Beispiel-Deck mit klickbaren Quellen. Das ist die aufschlussreichste Unterlage überhaupt, und sie erfordert keine Daten von Ihnen. Öffnen Sie die Quellen einer Stichprobe von Aussagen und prüfen Sie, ob jede Quelle das sagt, was die Folie behauptet. Übersteht das eigene Beispiel-Deck des Anbieters diese Prüfung nicht, ist die Prüfbarkeitsdimension des Piloten bereits beantwortet.
• Der Auftragsverarbeitungsvertrag. Nach Artikel 28(3) der UK GDPR muss ein Vertrag zwischen Verantwortlichem und Auftragsverarbeiter acht Mindestbestimmungen enthalten: Verarbeitung nur auf dokumentierte Weisung des Verantwortlichen, eine Vertraulichkeitspflicht, angemessene Sicherheitsmaßnahmen, Regelungen zu Unterauftragsverarbeitern, Unterstützung bei den Rechten der Betroffenen, Unterstützung bei den Sicherheits- und Meldepflichten des Verantwortlichen, Löschung oder Rückgabe der Daten bei Vertragsende sowie Audits und Inspektionen^[5]. Prüfen Sie den Entwurf des Anbieters gegen diese Liste, statt seine Vollständigkeit anzunehmen.
• Die namentliche Liste der Unterauftragsverarbeiter. Ein Auftragsverarbeiter darf ohne vorherige gesonderte oder allgemeine schriftliche Genehmigung des Verantwortlichen keinen Unterauftragsverarbeiter einsetzen und bleibt für dessen Compliance haftbar^[5]. Sie müssen vor Beginn des Piloten namentlich wissen, welche Modellanbieter, Hosting-Anbieter und sonstigen Dritten Ihre Dokumente berühren würden.
• Die Erklärung zum Datenstandort. Wo Ihre Dokumente gespeichert und verarbeitet werden, in welchen Rechtsordnungen und unter welchen Übermittlungsmechanismen. Für ein europäisches Unternehmen ist das häufig ein K.-o.-Kriterium, und es sollte so präzise formuliert sein, dass es sich verifizieren lässt, nicht als Marketingformel.
• Die Aufbewahrungs- und Löschrichtlinie. Was wird wie lange aufbewahrt, und was geschieht bei Vertragsende. Artikel 28(3) verlangt, dass der Auftragsverarbeiter nach Wahl des Verantwortlichen alle personenbezogenen Daten bei Vertragsende löscht oder zurückgibt und vorhandene Kopien löscht, sofern keine gesetzliche Aufbewahrungspflicht besteht^[5]. Stellen Sie dieselbe Frage für Ihre vertraulichen Geschäftsdokumente, nicht nur für personenbezogene Daten.
• Ein Export des Audit-Trails. Die Aufzeichnung dessen, was die Plattform getan hat: welche Dokumente gelesen wurden, was erzeugt wurde, was geändert wurde und von wem. Fordern Sie während des Piloten einen Beispielexport an und bestätigen Sie, dass er vollständig genug ist, damit ein Prüfer rekonstruieren könnte, wie eine Schlussfolgerung zustande kam.

Zwei dieser Unterlagen erfüllen einen doppelten Zweck. Das Beispiel-Deck mit klickbaren Quellen zeigt die Prüfbarkeit der Plattform, bevor Sie irgendetwas geteilt haben, und der Audit-Trail-Export zeigt, ob sich die Arbeitsweise der Plattform überhaupt nachprüfen lässt. Ein Anbieter, der beides bereitwillig liefert, sagt Ihnen etwas darüber, wie die Plattform gebaut wurde; ein Anbieter, der es nicht kann, hat Ihre Beschaffungsfrage negativ beantwortet.

Ein Pilot ohne Governance erzeugt eine Meinung, keine Entscheidung. Drei Rollen müssen feststehen, bevor der Backtest läuft.

• Der Bewerter sollte jemand sein, der am ursprünglichen Mandat mitgearbeitet hat, denn nur diese Person kann die Referenzwahrheit liefern, von der die Bewertung abhängt: welche Annahme das Gremium angezweifelt hat und welche Folie das Team dreimal umschreiben musste. Ohne dieses Wissen aus erster Hand zerfällt die Bewertung von Auslassungen und Fehlern zu Raterei, und genau diesen Fehlermodus soll ein Backtest verhindern.
• Ein zweiter Prüfer sollte das Ergebnis unabhängig bewerten, bevor die Bewertungen verglichen werden. Das muss nicht aufwendig sein: zwei Bewerter, dasselbe Raster und eine kurze Abstimmungsrunde, in der abweichende Bewertungen anhand der Belege ausdiskutiert werden. So ruht das Ergebnis nicht auf der Erinnerung einer einzelnen Person.
• Die Freigabe liegt beim Budgetverantwortlichen oder, in einer Beratungsgesellschaft, beim Managing Partner. Wer die Kaufentscheidung trägt, sollte den Bewertungsbogen, die Laufbedingungen und die stichprobenartigen Quellenprüfungen sehen und das Ergebnis einem Vorstand oder Investitionsausschuss erklären können, ohne dass der Bewerter im Raum ist.

Definieren Sie Bestehen und Scheitern vor dem Lauf, schriftlich, damit die Kriterien nicht nachverhandelt werden können, sobald das Ergebnis bekannt ist. Bestehen heißt, dass das Ergebnis in allen sechs Dimensionen des Rasters akzeptabel abschneidet und jede geprüfte Quelle standhält: Die Problemdefinition ist solide oder besser, die Struktur würde eine Lektüre durch das Gremium überstehen, das So-what ist auf den Exhibits vorhanden, auf die es ankommt, und Auslassungen und Fehler liegen innerhalb der vorab festgelegten Toleranz. Teilergebnisse sollten als solche festgehalten werden, denn eine Plattform, die fünf Dimensionen besteht und eine nicht, ist ein anderes Beschaffungsgespräch als eine, die alle sechs besteht.

Der wichtigste Fall des Scheiterns, den man ausdrücklich benennen muss, ist das gewandte Scheitern: Das Ergebnis liest sich gut, die Storyline ist sauber, und die Quellen halten nicht. Wenn Sie die zitierten Dokumente öffnen und feststellen, dass sie nicht sagen, was die Folien behaupten, ist das ein Scheitern bei Prüfbarkeit und Fehlern, ganz gleich, wie poliert das Deck ist, und es ist ein Ausschlusskriterium, kein Punktabzug. Weitere Fälle des Scheiterns sind ein Ergebnis, das erhebliche undokumentierte menschliche Korrektur brauchte, um seinen Endzustand zu erreichen, und ein Audit-Trail, der zu dünn ist, um zu rekonstruieren, wie die Schlussfolgerungen zustande kamen.

Die meisten gescheiterten Piloten scheitern bereits im Design, bevor die Plattform irgendetwas getan hat. Zwei Designs verursachen den größten Teil der Verschwendung.

• Nach einer Anbieterdemo urteilen. Eine Vorführung ist für genau eine Sache nützlich: zu entscheiden, ob die Plattform einen Backtest wert ist.
• Allein nach Geschwindigkeit urteilen. Die Zeit bis zum Deck ist die am leichtesten messbare und die am wenigsten aussagekräftige Kennzahl, denn Geschwindigkeit misst Durchsatz, nicht, ob die Analyse stimmt. Eine Plattform, die an einem Nachmittag ein gewandtes Deck liefert, hat die leichte Hälfte des Problems gelöst; die Hälfte, die zählt, ist, ob jede Aussage den Kontakt mit ihrer Quelle übersteht. Messen Sie Geschwindigkeit erst, nachdem die Prüfbarkeit bestanden ist, und nie an ihrer Stelle.

Was der Pilot Ihnen hinterlassen sollte, ist eine Plattform, die sich überhaupt backtesten lässt. Das heißt: ein System, das Ihr Briefing und Ihre Dokumente annimmt, ein gremienreifes Deck erzeugt und seine Evidenz offenlegt: jede Aussage rückverfolgbar zu der Quelle, auf der sie ruht, sodass das Sechs-Dimensionen-Raster tatsächlich angewendet werden kann.

Decisity ist eine KI-native Plattform für Strategieberatung, die aus einem Briefing und Dokumenten gremienreife Decks macht, in denen jede Aussage bis zu ihrer Quelle rückverfolgbar ist. Sie ist darauf ausgelegt, mit genau diesem Protokoll bewertet zu werden: Lassen Sie sie an einem abgeschlossenen Mandat laufen, bewerten Sie das Ergebnis am Deck, das das Gremium gesehen hat, und prüfen Sie die Quellen hinter jeder Aussage. Wenn Sie diesen Arbeitsablauf von Anfang bis Ende sehen möchten: Die Seite So funktioniert es beschreibt den dreistufigen Prozess von der Dokumentenaufnahme bis zum fertigen Deck, und Sie können eine Demo anfragen als ersten Schritt zu einem Backtest mit Ihrem eigenen Material.

Weiterführende Artikel:

• KI-gestützte Strategieanalyse vor einem skeptischen Vorstand präsentieren
• KI-Strategie-Deck prüfen: Quellen gegenlesen
• Vertrauliche Dokumente in KI-Tools: was Sie prüfen sollten

• FTC: FTC Announces Crackdown on Deceptive AI Claims and Schemes (25 September 2024)
• NIST: NIST Risk Management Framework Aims to Improve Trustworthiness of Artificial Intelligence (26 January 2023)
• EU AI Act Service Desk: Article 13, Transparency and provision of information to deployers
• ICO: Principle (e): Storage limitation (UK GDPR guidance)
• ICO: What needs to be included in the contract (contracts between controllers and processors, UK GDPR Article 28(3))