2025 war „KI-Governance" ein Konferenz-Buzzword. 2026 ist es eine Anforderung auf Vorstandsebene. Die EU-KI-Verordnung tritt in die Hochrisiko-Anwendungsphase im August 2026, ISO/IEC 42001 ist inzwischen der De-facto-Standard für AI-Management-Systeme, und NIST AI RMF ist zur US-Unternehmens-Baseline geworden. Jede Organisation, die KI einsetzt — nicht nur entwickelt — braucht eine formale Governance-Position. Dieser Leitfaden erklärt Was, Warum und Wie.

Was ist KI-Governance?

KI-Governance ist die Struktur aus Richtlinien, Rollen, Prozessen und Kontrollen, die sicherstellt, dass KI-Systeme verantwortungsvoll, rechtmäßig und im Einklang mit den Unternehmenszielen gebaut und genutzt werden. Sie beantwortet drei Fragen:

Welche KI-Systeme setzt die Organisation ein, und auf welcher Risikostufe?
Wer ist verantwortlich für jedes System in jeder Lebenszyklusphase?
Welche Kontrollen sind etabliert, um sicheren, rechtmäßigen und fairen Betrieb zu gewährleisten?

Anders als Daten-Governance (die auf Datenqualität und -nutzung fokussiert) oder IT-Governance (Infrastruktur), ist KI-Governance spezifisch auf die verhaltensbezogene, statistische und Black-Box-Natur von ML/LLM-Systemen ausgerichtet.

Warum 2026 der Wendepunkt ist

Drei regulatorische Wellen treffen aufeinander:

EU AI Act — verbotene KI-Praktiken seit Februar 2025 untersagt. Hochrisiko-System-Pflichten setzen August 2026 ein. GPAI-Pflichten (General-Purpose AI) bereits aktiv. Nicht-Compliance = bis zu 35 Mio. € oder 7 % des weltweiten Jahresumsatzes.
ISO/IEC 42001:2023 — AI-Management-System-Standard, der natürliche Cousin zur ISO 27001. Adoption beschleunigt sich, Kunden fragen ihn zunehmend ab.
US Executive Order + bundesstaatliche Gesetze — Flickenteppich, aber real: Colorado AI Act, NYC AI-Bias-Audits, kalifornische Gesetzesnovellen. US-Konzerne fordern zunehmend NIST-AI-RMF-Alignment von Lieferanten.

Dazu operative Risikotreiber:

Spektakuläre KI-Vorfälle in Finanzen, Recruiting, Gesundheitswesen
Verschärfte Versicherungsprüfung von KI-Einsätzen
Druck von Aktionären und Vorständen auf erklärbare, verteidigbare KI

Ihre Organisation hat wahrscheinlich mehr KI als Sie denken. Matproofs Baseline-Assessments finden im Durchschnitt 27 unterschiedliche KI/ML-Systeme in einem typischen 500-Personen-Unternehmen — vom CRM-Lead-Scoring über den HR-Lebenslauf-Filter bis zum Customer-Service-Chatbot und der Forecast-Funktion der Analytics-Plattform.

Die drei wichtigsten Governance-Frameworks

1. EU AI Act (Gesetz, verpflichtend)

Gilt für Anbieter und Betreiber von KI-Systemen, die im EU-Markt in Verkehr gebracht oder deren Output in der EU genutzt wird. Risikobasierte Einstufung:

Inakzeptables Risiko — verboten (Social Scoring, subliminale Manipulation, Echtzeit-Biometrie im öffentlichen Raum mit Ausnahmen)
Hochrisiko — strenge Pflichten (Konformitätsbewertung, Risikomanagement, Daten-Governance, Transparenz, menschliche Aufsicht, Genauigkeit/Robustheit, Protokollierung, CE-Kennzeichnung)
Begrenztes Risiko — Transparenzpflichten (Nutzer informieren, Kennzeichnung von Deepfakes)
Minimales Risiko — keine spezifischen Pflichten

Plus separater Track für General-Purpose AI Models (GPAI) einschließlich Foundation Models — mit zusätzlichen Pflichten für „Modelle mit systemischem Risiko" (>= 10^25 FLOP Trainingsrechenleistung).

Matproof bietet ein vollständiges EU-AI-Act-Modul, das alle 98 Anforderungen des Gesetzes abdeckt.

2. ISO/IEC 42001:2023 (freiwillige Norm, zertifizierbar)

Die weltweit erste AI-Management-System-Norm, veröffentlicht Dezember 2023. Struktur spiegelt ISO 27001:

Kontext der Organisation
Führung und Engagement
Planung (Risikobeurteilung, Ziele)
Unterstützung (Ressourcen, Kompetenz, Bewusstsein, Kommunikation, Dokumentation)
Betrieb (operative Kontrollen für den KI-Lebenszyklus)
Bewertung der Leistung
Verbesserung

Annex A enthält 38 Controls in 9 Bereichen (z. B. Datenqualität, Transparenz, menschliche Aufsicht, Folgenabschätzung von KI-Systemen).

Am besten geeignet für: Organisationen, die eine zertifizierbare KI-Governance-Position anstreben. Zertifizierungsstellen prüfen bereits dagegen.

3. NIST AI RMF 1.0 (freiwilliges Framework)

AI Risk Management Framework des US National Institute of Standards and Technology. Vier Funktionen:

Govern — Organisationsrichtlinien, Rollen, Verantwortlichkeiten
Map — Kontext, Risiken, Auswirkungen
Measure — quantifizieren, testen, tracken
Manage — priorisieren, mitigieren, reagieren

Nicht zertifizierbar, aber als US-Baseline weit verbreitet. NIST veröffentlicht zudem das AI RMF Playbook mit praktischen Templates.

Am besten geeignet für: Organisationen im US-Markt, Teams im Alignment mit US-Bundes-Procurement-Erwartungen.

Wie die Frameworks zusammenpassen

Für die meisten Organisationen sieht der Stack so aus:

EU AI Act — rechtliche Baseline (bei EU-Markt)
ISO/IEC 42001 — operatives Management-System (zertifizierbar, kundenseitig nachweisbar)
NIST AI RMF — praktische Risikobeurteilung und technische Kontrollen (oft eingebettet in die 42001-Implementierung)

ISO 42001 ersetzt nicht den AI Act, und NIST AI RMF ersetzt nicht die ISO 42001 — sie überlagern sich. Eine reife Organisation hat alle drei operativ, mit gemeinsamer Evidenz.

Kernrollen in der KI-Governance

Klare RACI (Responsible, Accountable, Consulted, Informed) verhindert das typische Chaos:

KI-Governance-Komitee (Vorstands- oder Geschäftsführungsebene)

Verantwortlich für KI-Strategie und Risikoappetit
Genehmigt Hochrisiko-System-Einsätze
Prüft KI-Portfolio quartalsweise

AI Ethics Officer / AI Risk Lead

Trägt die Tagesgovernance
Pflegt das KI-System-Inventar
Führt Folgenabschätzungen durch
Berichtet an das Governance-Komitee

KI-System-Owner (je System)

Verantwortlich für spezifische Systemergebnisse
Überwachen Performance, Bias, Drift
Pflichtenträger für Dokumentation

Data Science / ML Engineering

Bauen und testen Systeme nach Governance-Anforderungen
Implementieren Kontrollen (Bias-Tests, Erklärbarkeit, Logging)

Legal / Compliance

Regulatorisches Mapping (AI Act, sektorale Regeln)
Kunden-KI-Offenlegung
KI-spezifische Verträge

Datenschutzbeauftragter (DSB)

DSGVO-Schnittstelle (automatisierte Entscheidungsfindung, Art. 22)
Datenquellenlegitimität für Training
DSFA-Trigger für KI-Systeme

Sicherheit / CISO

Modellsicherheit (adversariale Robustheit, Prompt Injection)
Infrastruktursicherheit
Integration in die umfassendere Sicherheits-Governance

Das KI-Governance-Playbook

Phase 1 — Discovery (erste 60 Tage)

KI-System-Inventar — jedes Modell, jeder Use Case, jede Shadow AI
Klassifizierung nach Risikoklasse (AI Act oder internes Schema)
Identifizierung von Datenquellen und Aufbewahrung
Identifizierung von Betreibern, Anbietern, Integratoren je System
Baseline-Metriken etablieren (Genauigkeit, Fairness, Performance)

Phase 2 — Governance-Setup (Tage 30-90)

KI-Governance-Komitee chartern
KI-Richtlinie veröffentlichen (akzeptable Nutzung, Genehmigungsprozess)
Risikobeurteilungsmethode auswählen (üblicherweise NIST-AI-RMF-gemappt)
Dokumentationsvorlagen (Modellkarten, Data Cards, Folgenabschätzungen)
Tooling auswählen (GRC-Plattform mit KI-Modul)

Phase 3 — Controls-Implementierung (Tage 60-180)

Hochrisiko-Systeme erhalten vollständige Konformitätsbewertung (AI Act)
Bias-Tests und Fairness-Metriken implementiert
Menschliche Aufsichtskontrollen je System dokumentiert
Logging und Monitoring für KI-Systeme in Produktion
Incident Response für KI-spezifische Ereignisse (Bias Drift, Prompt Injection, Data Poisoning)

Phase 4 — Kontinuierlicher Betrieb (laufend)

Quartalsweise Portfolio-Review durch Governance-Komitee
Jährliche Neu-Bewertung pro System
Onboarding-Prozess für neue Systeme durchgesetzt
Incident-Logs geprüft
Metriken an Vorstand berichtet

Tooling-Landschaft 2026

KI-Governance-Tooling hat sich in mehrere Kategorien aufgesplittet:

KI-Governance-Plattformen (MLOps + Governance)

Credo AI — Governance-spezifisch, starke Policy-Engine
Holistic AI — Modell-Risiko + Governance
Fiddler AI — Observability mit Governance-Features
Arthur — ML Observability mit Governance
Collibra AI Governance — datenzentrische Governance, erweitert auf KI

Compliance-Plattformen mit KI-Modulen

Matproof — AI Act + ISO 42001 + NIST AI RMF gemappt, EU-gehostet
Vanta — teilweise AI-Act-Abdeckung
Drata — teilweise
Secureframe — teilweise

Modellzentrische Tools

MLflow, Weights & Biases, Neptune — Experiment Tracking mit Governance-Metadaten
AWS SageMaker Model Registry, Azure ML Model Registry, GCP Vertex Model Registry — cloud-native Modellkarten

Bias- und Fairness-Tests

IBM AI Fairness 360 (Open Source)
Fairlearn (Open Source)
Aequitas (Open Source)
Kommerziell: Credo AI, Holistic AI

LLM-spezifisch

LangSmith, Langfuse — LLM Observability
Guardrails AI — Laufzeit-Kontrollen
Protect AI, Lakera — Prompt Injection / adversariales Testing

Typischer Mid-Market-Stack: Compliance-Plattform (z. B. Matproof) + Model Registry (cloud-native) + Bias-Test (Open Source) + LLM-Observability (LangSmith/Langfuse) + Incident Management (Jira).

Dokumentations-Checkliste für Hochrisiko-KI-Systeme

Nach Anhang IV der KI-Verordnung benötigt ein Hochrisiko-System:

Allgemeine Beschreibung des KI-Systems, Zweckbestimmung und Nutzeranleitung
Detaillierte Beschreibung der Elemente und des Entwicklungsprozesses
Informationen zu Überwachung, Funktionsweise und Steuerung
Beschreibung des Risikomanagementsystems
Beschreibung von Änderungen im Lebenszyklus
Liste angewandter harmonisierter Normen
Kopie der EU-Konformitätserklärung
Detaillierte Beschreibung des Post-Market-Monitoring-Plans

Das ist substanziell — typischerweise eine 40-80-seitige technische Dokumentation pro Hochrisiko-System. Tooling, das automatisch aus Pipeline-Metadaten generiert, ist ein echter Effizienzgewinn.

Typische Stolpersteine

Shadow AI unterschätzen — Fachbereiche setzen ständig KI über SaaS-Funktionen ein. Ihre „3 KI-Systeme" sind wahrscheinlich 20.
LLM als „nur weiteres ML" behandeln — Prompt Injection, Data Leakage, Halluzination haben kein Pendant in der klassischen ML-Governance.
Kein Post-Deployment-Monitoring — die riskantesten Modelle sind die, die nach Launch niemand beobachtet.
Framework-Shopping — ein Framework wählen und andere ignorieren. Die meisten Organisationen brauchen 2-3 aufeinandergestapelt.
Governance als Checkbox — wenn Governance keine schlechten Deployments blockiert, ist es Theater.

Wie Matproof KI-Governance angeht

Matproofs KI-Governance-Modul kombiniert drei Ebenen in einer Plattform:

EU-AI-Act-Modul — alle 98 Anforderungen als Controls strukturiert, mit Anhang-IV-Dokumentation automatisch aus Ihrem Systeminventar generiert
ISO/IEC-42001-Mapping — dieselbe Evidenz erfüllt beide Frameworks; abgestimmt mit unserem breiteren ISO-27001-Angebot
NIST-AI-RMF-Alignment — Govern/Map/Measure/Manage-Funktionen auf Ihre Controls gemappt

Plus Cross-Mapping zu DSGVO, DORA und umfassenderen Sicherheits-Frameworks, sodass eine Control-Investition über das regulatorische Portfolio hinweg zahlt.

EU-gehostet (Frankfurt). DSGVO-nativ. Von einem deutschen Team für europäische KI-Governance-Anforderungen gebaut.

EU-AI-Act-Readiness-Assessment — 15 Minuten, kostenlos, mit bewertetem Report.

Wo morgen starten

Inventar — jedes KI-System auflisten, bekannt oder vermutet, über die Organisation. Keine perfekte Liste — ein Startpunkt.
Klassifizieren — selbst grobe Risikokategorisierung (hoch/mittel/niedrig) zeigt, wo der Fokus liegt.
Framework wählen — AI Act bei EU-Markt, ISO 42001 wenn zertifizierbar gewünscht, NIST bei US-Fokus.
Komitee chartern — selbst drei Personen, die quartalsweise reviewen, sind besser als null.
Ein Hochrisiko-System richtig machen — die Vorlage aus einem realen Fall aufbauen, dann skalieren.

KI-Governance in 2026 ist keine Frage des Ob, sondern ob Sie sie bewusst betreiben oder reaktiv nach dem ersten Vorfall.

KI-Governance: Framework, Rollen und Tools für die AI-Act-Ära

Inhaltsverzeichnis