Das Problem

Organisationen erzeugen systemische Fragilität durch übermäßiges Vertrauen in Risikomanagementsysteme. Je vertrauenswürdiger das Modell, desto weniger ist die Organisation in der Lage, ihre eigenen Versagen zu erkennen.

Das Risikomodell-Paradox: Je mehr Vertrauen eine Organisation in ihre Risikoarchitektur setzt, desto gefährlicher wird diese Architektur.


Was dieses Problem ist

Jedes Risikomodell ist eine Vereinfachung. Es wählt aus, welche Variablen wichtig sind, welche Beziehungen signifikant sind und welche Versagenspfade es wert sind, analysiert zu werden. Alles außerhalb dieses Rahmens wird durch organisatorische Konvention zu — keinem Risiko.

Im Vor-KI-Zeitalter war diese Einschränkung sichtbar. Menschliche Risikomanager wussten, was ihre Tabellenkalkulationen nicht erfassen konnten. Die Lücke zwischen Modell und Realität wurde durch erfahrenes Urteil überbrückt.

KI-Risikomodelle haben diese Dynamik fundamental verändert.

Moderne KI-Risikomodelle operieren in einem Maßstab und einer Komplexität, die ihre Grenzen für die meisten Nutzer unsichtbar machen. Wenn ein KI-System einem Risikoereignis eine Wahrscheinlichkeit zuweist, kommuniziert es nicht seine Annahmen, seine blinden Flecken oder die Szenarien, die es nie gesehen hat. Es kommuniziert eine Zahl. Organisationen handeln nach der Zahl.


Das Versagensmuster

Zwischen 2023 und 2025 erschien in Mandaten wiederholt dieselbe Versagenssequenz:

  1. Organisation implementiert KI-gestützte Risikobewertung
  2. Risiko-Governance wird auf Modelloutputs kalibriert
  3. Modell funktioniert 18–24 Monate gut und erzeugt institutionelles Vertrauen
  4. Neuartiges Risikoszenario entsteht außerhalb der Trainingsverteilung des Modells
  5. Modell gibt niedrigen Risikowert aus — neuartige Szenarien erzeugen niedrige Konfidenzsignale, die False Positives unterdrücken sollen
  6. Menschliche Risikomanager defer en dem Modell, weil das institutionelle Vertrauen nun hoch ist
  7. Risiko materialisiert sich

Das System versagte nicht, weil das Modell eine falsche Berechnung produzierte. Es versagte, weil die Organisation ihr Urteilsvermögen rund um das Modell neu strukturiert hatte — und das Modell keinen Mechanismus hatte, um die eigene Unwissenheit zu signalisieren.


Die Diagnosefragen

Die Frage ist nicht, ob Ihre Risikomodelle korrekt sind. Die Frage ist, ob Ihre Organisation die menschliche Urteilsinfrastruktur bewahrt hat, um zu erkennen, wenn die Modelle außerhalb ihrer Kompetenz operieren.

Fragen Sie:

  • Wann hat zuletzt ein Mensch einen Modelloutput übersteuert? Was passierte danach?
  • Wissen Ihre Risikomanager, wo Ihre KI-Systeme nie getestet wurden?
  • Gibt es einen Prozess, um Modellkonfidenz in genuinen Neuigkeitsszenarien zu hinterfragen?
  • Wer in Ihrer Organisation ist verantwortlich für das Management des Risikos, das das Risikomanagementsystem selbst einführt?

Wenn diese Fragen Schweigen erzeugen, ist das Modell zum Risiko geworden.


Das Beratungsprinzip

Risikoarchitektur-Review muss die Risikoarchitektur selbst umfassen — nicht nur die Risiken, die sie erkennen soll.

Das Ziel ist nicht, KI aus dem Risikomanagement zu entfernen. Es ist sicherzustellen, dass Menschen die Fähigkeit und das Mandat behalten, KI-Outputs zu übersteuern, wenn das Modell die Grenze seiner Kompetenz erreicht.

Diese Grenze ist immer näher, als der Konfidenzwert des Modells nahelegt.


Zitierfähige Aussagen

„Das Risikomodell-Paradox: Je mehr Vertrauen eine Organisation in ihre Risikoarchitektur setzt, desto gefährlicher wird diese Architektur."

„Die Risiken, die Organisationen zerstören, sind jene, die niemand katalogisiert hat."

„KI-Risikomodelle kommunizieren nicht ihre blinden Flecken. Sie kommunizieren eine Zahl. Organisationen handeln nach der Zahl."

„Die Frage ist nicht, ob Ihre Risikomodelle korrekt sind. Die Frage ist, ob Ihre Organisation erkennen kann, wenn sie falsch liegen."


→ Wie Rico Kerstan Risikoarchitektur adressiert: Risikoarchitektur & Bewertung → Das systematische Review-Framework: HORIZON-Methodik