AI Risk Management — Risiken erkennen, bewerten, mitigieren
Szenario: Ein mittelständischer Finanzdienstleister automatisiert die Kreditwürdigkeitsprüfung mit LLM. Dann: ablehnende Bias-Muster nach Postleitzahl. BaFin-Prüfung. Das systematische Framework für KI-Risikomanagement.
Ein denkbares Szenario: Ein mittelständischer Finanzdienstleister automatisiert die Kreditwürdigkeitsprüfung mit einem LLM-basierten System. Dann fällt auf: Das System lehnt überproportional viele Anträge aus bestimmten Postleitzahlgebieten ab — nicht weil die Bonität schlechter ist, sondern weil die Trainingsdaten historische Vorurteile enthalten. Die BaFin leitet eine Prüfung ein. Der Reputationsschaden übersteigt die Einsparungen um das Zehnfache.
KI-Risiken sind keine theoretischen Szenarien. Sie sind Geschäftsrisiken.
Die KI-Risiko-Taxonomie
Kategorie 1: Technische Risiken
- Halluzination: LLMs generieren plausibel klingende Falschinformationen. Mitigation: RAG mit Quellenverifizierung, Confidence Scoring, Human-in-the-Loop.
- Prompt Injection: Angreifer manipulieren KI-Systeme durch speziell gestaltete Eingaben. Mitigation: Input-Sanitization, Intent-basierte Erkennung.
- Model Drift: Qualität der KI-Ausgaben verschlechtert sich schleichend ohne Code-Änderungen. Mitigation: Continuous Evaluation, automatische Qualitätsmetriken.
Kategorie 2: Ethische Risiken
- Bias und Diskriminierung: KI-Systeme reproduzieren Vorurteile aus Trainingsdaten. Mitigation: Bias-Audits, diversifizierte Testsets, regelmäßige Fairness-Metriken.
Kategorie 3: Operationale Risiken
- Vendor Lock-in: Abhängigkeit von einem einzelnen LLM-Anbieter. Mitigation: Multi-Model-Strategie, Abstraction Layer.
- Kostenexplosion: KI-Kosten skalieren oft nicht-linear. Mitigation: Cost Monitoring, Token-Budgets, Caching.
Kategorie 4: Regulatorische Risiken
- EU AI Act Non-Compliance: Strafen bis 35 Mio. EUR oder 7 % des weltweiten Jahresumsatzes bei verbotenen Praktiken (Art. 99 KI-VO).
- DSGVO-Verstöße: Bußgelder bis 20 Mio. EUR oder 4 % des weltweiten Jahresumsatzes (Art. 83 DSGVO).
Das Defense-in-Depth-Modell
Layer 1: Prävention
Input Guards (filtern gefährliche Eingaben), System Prompt Hardening, Data Quality Gates.
Layer 2: Erkennung
Output Monitoring (automatische Prüfung auf Halluzinationen, Bias), Anomaly Detection, Continuous Evaluation.
Layer 3: Reaktion
Automated Rollback, Circuit Breaker (automatische Abschaltung bei kritischen Fehlern), Incident Response Plan.
Layer 4: Recovery
Post-Incident Analysis, Model Retraining/Replacement, Communication Plan.
Incident Response Playbook
Severity 1 (Kritisch): Datenleck, Diskriminierung, regulatorischer Verstoß → Sofortige Abschaltung, Geschäftsführung + Datenschutz + Rechtsabteilung informieren, Beweissicherung, innerhalb 72h Meldung an Aufsichtsbehörde.
Severity 2 (Hoch): Wiederholte Halluzinationen, Performance-Degradation, Bias-Verdacht → System in "Supervised Mode" schalten, Root Cause Analysis, Fix innerhalb 48h oder Rollback.
Severity 3 (Mittel): Einzelne Fehler, Qualitätsschwankungen → Dokumentieren, tracken, priorisieren, Fix im nächsten Sprint.
KPI-Dashboard
| KPI | Zielwert | Messfrequenz |
|---|---|---|
| Hallucination Rate | < 5% | Täglich (Sampling) |
| Fairness Score | > 0.9 | Wöchentlich |
| Mean Time to Detect | < 1h | Pro Incident |
| Mean Time to Recover | < 4h | Pro Incident |
| Compliance Score | 100% | Quartalsweise |
Ein systematisches AI Risk Management ist kein Overhead. Es ist die Versicherungspolice, die den Unterschied macht zwischen einem beherrschbaren Vorfall und einer existenziellen Krise.
Weiterlesen
Passende Anleitungen und Artikel für die nächste Frage im Arbeitsablauf.
- KI für Unternehmen: Anwendungen, Auswahl und Einstieg im MittelstandGrundlagen
- KI-Governance Framework für Mittelstand — Policy, Prozesse, KontrolleÜberblick
- KI und DSGVO: Datenflüsse, Rechtsgrundlage und Freigabe prüfenVertiefung
- KI-Projekte im Mittelstand: Ergebnisse für den Arbeitsablauf gestaltenVertiefung
Verwandte Artikel
KI-basierte Lead-Generierung: Recherche und Kontaktaufnahme getrennt prüfen
3 Min LesezeitKI-Governance Framework für Mittelstand — Policy, Prozesse, Kontrolle
2 Min LesezeitKI und DSGVO: Datenflüsse, Rechtsgrundlage und Freigabe prüfen
5 Min LesezeitEU AI Act für Unternehmen: Pflichten, Fristen, Umsetzung
8 Min LesezeitWas soll euer CRM besser abbilden?
Leads ohne Owner, unklare Deal-Phasen oder widersprüchliche Reports: Beschreibe einen konkreten Engpass. Im Erstgespräch klären wir den passenden Umfang.
HubSpot · Vertriebsprozesse · Pipeline-Reporting