KI-Governance aufsetzen —
interne KI-Richtlinie, Rollen & Verantwortung.
Ohne Richtlinie kein Überblick. Ohne Überblick keine Kontrolle. Ohne Kontrolle nutzen Mitarbeiter KI-Tools, die niemand kennt, mit Daten, die nicht in die Cloud gehören. Dieser Artikel zeigt, wie du in 6 Schritten eine schlanke KI-Governance einführst — ohne Bürokratie-Monster, mit echtem Effekt.
KI-Governance klingt nach Großkonzern. In Wirklichkeit ist es das, was jedes Unternehmen ohnehin braucht, wenn es KI produktiv einsetzt: klare Regeln, klare Zuständigkeiten, klare Grenzen. Das geht auch mit 40 Mitarbeitern — und dauert nicht Monate, sondern Wochen.
Dieser Artikel richtet sich an Geschäftsführerinnen und Geschäftsführer im Mittelstand, die KI bereits einsetzen oder gerade damit anfangen. Er orientiert sich an den Anforderungen des EU AI Act (Verordnung 2024/1689) und der ISO/IEC 42001:2023. Er ersetzt keine Rechtsberatung — bei regulierten Branchen oder Hochrisiko-KI bitte frühzeitig spezialisierte Kanzleien einbinden. Stand: Juni 2026.
Warum du das jetzt angehen musst
Laut Erhebungen des Bitkom (Oktober 2025) nutzen rund 42 Prozent der Mitarbeiter in deutschen Unternehmen KI-Tools, von denen die IT nichts weiß. Das ist Schatten-KI — und sie ist nicht harmlos. Wenn ein Vertriebsmitarbeiter Kundendaten in ein Browser-Tool kopiert, hat das DSGVO-Konsequenzen. Wenn der HR-Kollege KI für Bewerber-Screening einsetzt, ohne dass es jemand weiß, ist das möglicherweise Hochrisiko-KI im Sinne des EU AI Act.
Die KI-Kompetenz-Pflicht aus Art. 4 EU AI Act gilt seit dem 2. Februar 2025. Wer noch keine Governance hat, läuft bereits ohne Netz. Das ist keine Panikmache — es ist eine nüchterne Bestandsaufnahme.
Schritt 1 — Die Ausgangslage ehrlich aufnehmen
Bevor du eine Richtlinie schreibst, musst du wissen, wie der IST-Zustand aussieht. Das bedeutet: eine ehrliche Bestandsaufnahme, ohne mit Verboten zu drohen.
Frage in einer kurzen Runde alle Abteilungsleiter: Welche KI-Tools setzt euer Team ein? Das Ergebnis wird überraschen. Browser-Plug-ins, Office-Add-ins, branchenspezifische Software mit KI-Funktionen, Sprachmodell-Zugänge — das alles ist KI.
Für jedes Tool: Was für Daten werden eingegeben? Öffentliche Infos, interne Infos, Personaldaten, Kundendaten, Betriebs- und Geschäftsgeheimnisse? Je sensitiver die Daten, desto klarer muss die Regel sein.
Das Inventar ist keine einmalige Aufgabe — es muss regelmäßig aktualisiert werden, mindestens halbjährlich. Cloud-Tools fügen laufend KI-Funktionen hinzu, ohne das groß anzukündigen.
Schritt 2 — Rollen und Verantwortlichkeiten benennen
Governance ohne Personen ist Papier. Du brauchst mindestens drei Rollen — keine eigenen Stellen, sondern Zuständigkeiten, die bestehenden Personen zugewiesen werden.
| Rolle | Aufgaben | Typische Person |
|---|---|---|
| KI-Verantwortlicher | Pflegt KI-Inventar, koordiniert Freigaben, meldet Vorfälle, organisiert Schulungen | IT-Leiter, Datenschutzbeauftragter oder GF-Mitglied |
| Fach-Koordinatoren (je Abteilung) | Melden neue Tools, prüfen KI-Outputs in ihrer Abteilung, geben Feedback zu Richtlinien | Abteilungsleiter oder erfahrene Mitarbeiter |
| Geschäftsführung | Trägt Gesamtverantwortung, gibt Hochrisiko-Entscheidungen frei, kommuniziert Stellenwert der Richtlinie | GF, Vorstand, Bereichsleitung |
Schritt 3 — Die interne KI-Richtlinie schreiben
Eine KI-Richtlinie für den Mittelstand muss nicht 30 Seiten haben. Sie muss gelesen und verstanden werden. Das schafft sie auf zwei bis drei Seiten, wenn sie konkret ist.
Die 6 Kernpunkte jeder KI-Richtlinie
1. Geltungsbereich. Für wen gilt die Richtlinie? Alle Mitarbeiter, Freelancer, externe Dienstleister? Klarheit hier verhindert spätere Ausreden.
2. Freigabe-Liste. Welche Tools sind offiziell freigegeben? Mit genauem Namen. Was nicht auf der Liste steht, ist nicht freigegeben — Punkt. Das klingt hart, ist aber die einzige funktionierende Logik. Alternativ: Whitelist-Ansatz mit schnellem Freigabeprozess für neue Anfragen.
3. Datenklassen-Regeln. Was darf in welches Tool? Ein konkretes Beispiel hilft mehr als jede abstrakte Erklärung:
- Öffentliche oder allgemeine Texte (z. B. Marketing-Entwürfe ohne Kunden-Namen) dürfen in freigegebene Cloud-KI-Dienste.
- Interne Infos (Prozesse, Strategiedokumente) nur in freigegebene lokale KI-Systeme oder Cloud-Tools mit AVV.
- Personaldaten, Kundendaten, Betriebs- und Geschäftsgeheimnisse ausschließlich in datenschutzkonforme lokale Systeme — niemals in öffentliche Cloud-Dienste ohne vertragliche Absicherung.
4. Prüfpflicht für KI-Outputs. KI-erzeugte Inhalte müssen von einem Menschen geprüft werden, bevor sie extern kommuniziert oder in Entscheidungen einfließen. Das ist nicht nur rechtlich sinnvoll — es vermeidet auch schlicht fehlerhafte Ergebnisse.
5. Kennzeichnungspflicht. Wo verlangt der EU AI Act die Kennzeichnung (Art. 50) — also bei Chatbots und synthetischen Inhalten — muss das in der Richtlinie stehen und umgesetzt werden.
6. Meldeweg bei Vorfällen. Was passiert, wenn ein Mitarbeiter versehentlich sensible Daten in ein nicht freigegebenes Tool eingegeben hat? Wer wird informiert? Bis wann? Das muss klar sein — sonst erfährt du es nicht.
Schritt 4 — Freigabeprozess für neue Tools
Die häufigste Quelle von Schatten-KI ist nicht böser Wille, sondern ein fehlender schneller Weg zur offiziellen Nutzung. Wer 3 Wochen auf eine Freigabe wartet, nutzt das Tool eben vorher.
Ein funktionierender Freigabeprozess hat vier Eigenschaften:
- Einfaches Formular. Name des Tools, Anbieter, Standort (EU oder außerhalb), Einsatzzweck, Datenklassen, Nutzer-Gruppe. Eine DIN-A4-Seite oder ein digitales Formular reicht.
- Klare Zuständigkeit. Wer entscheidet? Der KI-Verantwortliche allein für Minimal-Risk-Tools, GF-Mitglied bei potenziell risikoreicheren Einsatzfällen.
- Antwortzeit unter 5 Werktagen. Länger und der Freigabeprozess wird umgangen. Das ist keine Theorie.
- Negativbescheid mit Begründung. „Nein, weil..." ist akzeptabler als „Nein". Und es zeigt dem Mitarbeiter, was er beim nächsten Tool beachten soll.
Schritt 5 — Cloud-KI vs. lokale KI: die Grundregel
Einer der häufigsten blinden Flecken in KI-Richtlinien ist die fehlende Unterscheidung zwischen Cloud-KI und lokal betriebener KI. Dabei ist der Unterschied für den Datenschutz fundamental.
| Kriterium | Cloud-KI-Dienste | Lokal betriebene KI |
|---|---|---|
| Daten verlassen das Unternehmen | Ja — Daten gehen an den Anbieter | Nein — alles bleibt im eigenen Netz |
| DSGVO-Anforderungen | AVV mit Anbieter erforderlich; Drittland-Transfer prüfen | Kein externer Datentransfer |
| Geeignet für sensitive Daten | Nur mit vertraglicher Absicherung und AVV | Ja, wenn das System intern abgesichert ist |
| Aufwand | Geringer Setup-Aufwand, aber laufende Prüfpflichten | Höherer Setup-Aufwand, dafür dauerhaft datensouverän |
Die KI-Richtlinie sollte explizit regeln, welche Datenklassen in Cloud-Dienste dürfen und welche ausschließlich lokal verarbeitet werden. Das ist keine Frage des Vertrauens in Anbieter — es ist eine Frage der DSGVO-Konformität und des Schutzes von Geschäftsgeheimnissen.
Schritt 6 — Schulung und Kommunikation
Eine Richtlinie, die niemand kennt, existiert nicht. Die Einführung ist deshalb genauso wichtig wie der Inhalt.
30 Minuten, Präsentation der Richtlinie, Erklärung der Regeln mit konkreten Beispielen. Kein Vortrag über Paragrafen — sondern: „Was darf ich? Was nicht? Wie beantrage ich ein neues Tool?"
HR, Finanzen, Recht, Einkauf — Bereiche mit sensitiven Daten brauchen eine eigene Session, die konkrete Szenarien aus ihrem Alltag durchspielt. Was passiert, wenn ein Mitarbeiter versehentlich eine Personalakte in ein Cloud-Tool eingibt?
Teilnahmeliste, Datum, Inhalte. Das ist der Kompetenz-Nachweis für Art. 4 EU AI Act. Ohne Dokumentation hast du zwar geschult — aber keinen Beweis dafür.
ISO/IEC 42001 — was du davon wissen musst
Die ISO/IEC 42001:2023 ist der erste internationale Standard für KI-Managementsysteme (AIMS). Veröffentlicht 2023, ist sie nach der sogenannten High Level Structure aufgebaut — demselben Rahmen, den auch ISO 9001 (Qualität) und ISO 27001 (Informationssicherheit) nutzen.
Was die Norm fordert, lässt sich in vier Kernelementen zusammenfassen:
- Kontext und Stakeholder: Was sind eure KI-Ziele, wer ist betroffen, welche internen und externen Anforderungen gelten?
- Governance-Struktur: Rollen, Verantwortlichkeiten, Ressourcen — ähnlich dem, was in diesem Artikel beschrieben ist.
- Risikomanagement: Systematische Identifikation, Bewertung und Behandlung von KI-bezogenen Risiken.
- Kontinuierliche Verbesserung: Interne Audits, Management-Reviews, Maßnahmen aus erkannten Schwächen.
Wichtig zu wissen: ISO/IEC 42001 ist Stand 2026 keine harmonisierte Norm unter dem EU AI Act. Eine Zertifizierung begründet damit keine automatische Konformitätsvermutung für Hochrisiko-KI. Sie hilft aber, eine reife KI-Governance aufzubauen — und signalisiert Partnern, Kunden und Behörden, dass KI im Unternehmen ernst genommen wird.
Für den Einstieg im Mittelstand gilt: Die Grundstruktur aus Schritt 1 bis 6 dieses Artikels deckt die wesentlichen Anforderungen der ISO/IEC 42001 in einem schlanken Rahmen ab. Eine formelle Zertifizierung ist ein nächster Schritt — kein Pflichtprogramm für den Start.
Was darf KI nicht — die Verbotsliste für die Richtlinie
Neben dem was erlaubt ist, braucht jede Richtlinie eine klare Verbotsliste. Das sind Dinge, die grundsätzlich untersagt sind — unabhängig vom Tool:
- Personaldaten, Gesundheitsdaten oder besondere Kategorien (Art. 9 DSGVO) in Cloud-KI-Dienste ohne AVV eingeben.
- KI-generierte Inhalte ohne menschliche Prüfung extern kommunizieren (insbesondere Rechts-, Finanz- oder Medizin-Beratung).
- KI-Systeme einsetzen, die ohne Wissen der Gesprächspartner Emotionen erkennen oder biometrische Daten verarbeiten (Art. 5 EU AI Act).
- Neue KI-Tools einführen, ohne den Freigabeprozess zu durchlaufen.
- KI als alleinige Entscheidungsinstanz bei Personalentscheidungen nutzen — ohne menschliche Überprüfung und Dokumentation.
Typische Fehler beim Aufsetzen von KI-Governance
Fehler 1: Die Richtlinie wird top-down verkündet, ohne Einbindung der Mitarbeiter. Ergebnis: Sie wird als Kontrollinstrument wahrgenommen, nicht als Orientierung. Besser: Feedback-Runde mit ein bis zwei Abteilungsleitern vor der finalen Version.
Fehler 2: Zu viele Verbote, zu wenig Alternativen. Wenn die Richtlinie sagt „kein Cloud-KI-Tool für interne Texte", muss es eine gute lokale Alternative geben. Sonst wird die Regel ignoriert.
Fehler 3: Kein Anpassungs-Rhythmus. Eine Richtlinie, die 2025 geschrieben und nie überarbeitet wurde, ist 2026 veraltet. Plane Reviews ein — mindestens jährlich.
Fehler 4: Governance nur für Compliance-Zwecke. Die beste KI-Governance schützt nicht nur das Unternehmen rechtlich — sie hilft Mitarbeitern, KI effektiver einzusetzen. Formuliere das so.
Quellen
- EUR-Lex: Verordnung (EU) 2024/1689 (EU AI Act) — Volltext
- ISO/IEC 42001 — Vollständiger Leitfaden zum KI-Managementsystem (Advisori)
- KES Informationssicherheit: Schatten-KI im Unternehmen erkennen und mit KI-Governance eindämmen
- Caralegal: KI-Richtlinie im Unternehmen — Leitfaden 2025
- ISO 42001 und EU AI Act: Was Unternehmen bis 2. August 2026 tun müssen
Wissens-Check — sichere dir den Fortschritt
5 Fragen, alle Multiple Choice. Ab 4 von 5 richtig wird dieser Artikel in deinem Zertifizierungs-Pfad als bestanden markiert. Du brauchst einen Snowbyte-Account, um den Fortschritt zu speichern.
Lies weiter mit Snow Academy — Zugang via Snow-Plan.
Dieser Artikel ist Teil der gepflegten Snow Academy. Mit einem Privat- oder Business-Abo bekommst du vollen Zugriff auf alle Artikel, Quizze und das Zertifizierungs-Programm.