AI Risk Management — Risiken erkennen, bewerten, mitigieren

Ein denkbares Szenario: Ein mittelständischer Finanzdienstleister automatisiert die Kreditwürdigkeitsprüfung mit einem LLM-basierten System. Dann fällt auf: Das System lehnt überproportional viele Anträge aus bestimmten Postleitzahlgebieten ab — nicht weil die Bonität schlechter ist, sondern weil die Trainingsdaten historische Vorurteile enthalten. Die BaFin leitet eine Prüfung ein. Der Reputationsschaden übersteigt die Einsparungen um das Zehnfache.

KI-Risiken sind keine theoretischen Szenarien. Sie sind Geschäftsrisiken.

Die KI-Risiko-Taxonomie

Kategorie 1: Technische Risiken

• Halluzination: LLMs generieren plausibel klingende Falschinformationen. Mitigation: RAG mit Quellenverifizierung, Confidence Scoring, Human-in-the-Loop.
• Prompt Injection: Angreifer manipulieren KI-Systeme durch speziell gestaltete Eingaben. Mitigation: Input-Sanitization, Intent-basierte Erkennung.
• Model Drift: Qualität der KI-Ausgaben verschlechtert sich schleichend ohne Code-Änderungen. Mitigation: Continuous Evaluation, automatische Qualitätsmetriken.

Kategorie 2: Ethische Risiken

• Bias und Diskriminierung: KI-Systeme reproduzieren Vorurteile aus Trainingsdaten. Mitigation: Bias-Audits, diversifizierte Testsets, regelmäßige Fairness-Metriken.

Kategorie 3: Operationale Risiken

• Vendor Lock-in: Abhängigkeit von einem einzelnen LLM-Anbieter. Mitigation: Multi-Model-Strategie, Abstraction Layer.
• Kostenexplosion: KI-Kosten skalieren oft nicht-linear. Mitigation: Cost Monitoring, Token-Budgets, Caching.

Kategorie 4: Regulatorische Risiken

• EU AI Act Non-Compliance: Strafen bis 35 Mio. EUR oder 7 % des weltweiten Jahresumsatzes bei verbotenen Praktiken (Art. 99 KI-VO).
• DSGVO-Verstöße: Bußgelder bis 20 Mio. EUR oder 4 % des weltweiten Jahresumsatzes (Art. 83 DSGVO).

Das Defense-in-Depth-Modell

Layer 1: Prävention

Input Guards (filtern gefährliche Eingaben), System Prompt Hardening, Data Quality Gates.

Layer 2: Erkennung

Output Monitoring (automatische Prüfung auf Halluzinationen, Bias), Anomaly Detection, Continuous Evaluation.

Layer 3: Reaktion

Automated Rollback, Circuit Breaker (automatische Abschaltung bei kritischen Fehlern), Incident Response Plan.

Layer 4: Recovery

Post-Incident Analysis, Model Retraining/Replacement, Communication Plan.

Incident Response Playbook

Severity 1 (Kritisch): Datenleck, Diskriminierung, regulatorischer Verstoß → Sofortige Abschaltung, Geschäftsführung + Datenschutz + Rechtsabteilung informieren, Beweissicherung, innerhalb 72h Meldung an Aufsichtsbehörde.

Severity 2 (Hoch): Wiederholte Halluzinationen, Performance-Degradation, Bias-Verdacht → System in "Supervised Mode" schalten, Root Cause Analysis, Fix innerhalb 48h oder Rollback.

Severity 3 (Mittel): Einzelne Fehler, Qualitätsschwankungen → Dokumentieren, tracken, priorisieren, Fix im nächsten Sprint.

KPI-Dashboard

Ein systematisches AI Risk Management ist kein Overhead. Es ist die Versicherungspolice, die den Unterschied macht zwischen einem beherrschbaren Vorfall und einer existenziellen Krise.