Audit-Dokumentation & Nachweispflicht —
was die Geschäftsführung wirklich vorhalten muss.

Compliance-Dokumentation klingt nach Ordnern voller Papier, die niemand liest. In der Praxis ist sie etwas anderes: der Unterschied zwischen „wir haben das im Griff" und „wir wissen nicht, was unsere Mitarbeiter mit KI machen". Der EU AI Act (Verordnung 2024/1689) setzt genau hier an. Nicht mit generellen Verboten, sondern mit der Frage: Wer hat wann was entschieden, wer ist verantwortlich, und wie kannst du das belegen?

Dieser Artikel orientiert sich an den Anforderungen des EU AI Act und gibt Orientierung für Führungskräfte in Unternehmen, die KI bereits einsetzen oder dies planen. Er ersetzt keine individuelle Rechtsberatung — bei regulierten Branchen (Banken, Versicherungen, Medizin) und beim Einsatz von Hochrisiko-KI ist eine spezialisierte Kanzlei frühzeitig einzubinden.

Warum die GF persönlich in der Pflicht ist

Die Verantwortung für KI-Compliance liegt nicht in der IT-Abteilung. Sie liegt bei der Leitungsebene. Das ist kein Zufall — der EU AI Act folgt dem Prinzip, dass KI-Risiken auf Organisations-Ebene gesteuert werden müssen, nicht auf Tool-Ebene.

Konkret bedeutet das: Wer als Betreiber eines KI-Systems eingestuft wird, muss nach Art. 26 des EU AI Act sicherstellen, dass das System bestimmungsgemäß betrieben wird, Mitarbeiter für den Umgang geschult sind, und Zwischenfälle dokumentiert werden. Betreiber ist, wer das System im eigenen Unternehmen einsetzt — unabhängig davon, ob er es selbst entwickelt hat oder zugekauft hat.

Hinzu kommt Art. 4 (KI-Kompetenz), der seit dem 2. Februar 2025 gilt: Anbieter und Betreiber von KI-Systemen müssen dafür sorgen, dass ihr Personal über ein ausreichendes Maß an KI-Kompetenz verfügt. Die Beweislast liegt beim Unternehmen. Fehlt die Dokumentation, liegt der Nachweis im Streitfall beim Unternehmen — und der ist dann schwer zu erbringen.

Die vier Dokumenten-Kategorien im Überblick

Für die meisten mittelständischen Unternehmen lassen sich die Nachweispflichten in vier Kategorien strukturieren. Nicht alle treffen jeden gleich stark — das hängt davon ab, ob und welche Hochrisiko-KI eingesetzt wird.

Kategorie	Was gehört rein?	Wann relevant?
1. Kompetenz-Nachweis	Schulungsnachweise, Teilnahmelisten, interne Schulungsmaterialien	Sofort — gilt seit Feb. 2025
2. Risiko-Einstufung	Inventar aller KI-Tools, Einstufung nach Risikoklasse, Entscheidungs-Protokoll	Sofort — Basis für alle weiteren Schritte
3. Governance-Doku	Interne KI-Richtlinie, Rollen & Verantwortlichkeiten, Freigabeprozesse	Sofort — Grundlage für Betreiber-Pflichten
4. Technische Doku (Hochrisiko)	Risikomanagementsystem (Art. 9), techn. Dokumentation (Art. 11), Logs (Art. 12)	Nur bei Hochrisiko-KI nach Annex III

Kategorie 1 — Kompetenz-Nachweis (Art. 4)

Art. 4 des EU AI Act fordert „ausreichende KI-Kompetenz" für alle, die mit KI-Systemen arbeiten. Was „ausreichend" konkret bedeutet, hängt vom Kontext ab: Ein Vertriebsmitarbeiter, der einen KI-Assistenten für E-Mail-Entwürfe nutzt, braucht andere Kompetenzen als ein HR-Verantwortlicher, der KI-gestütztes Bewerber-Ranking einsetzt.

Was du vorhalten solltest:

• Teilnahmelisten mit Namen, Datum und Inhalt der Schulung — auch interne Sessions zählen.
• Schulungsmaterialien oder zumindest eine kurze Beschreibung, was vermittelt wurde.
• Rollen-Matrix: Welche Mitarbeiter-Gruppe hat welche Schulung absolviert?
• Datum und Wiederholungs-Intervall: KI entwickelt sich schnell. Jährliche Auffrischung ist eine sinnvolle Orientierungsgröße.

Kategorie 2 — Risiko-Einstufung deiner KI-Tools

Bevor du irgendetwas dokumentierst, musst du wissen, was du überhaupt dokumentieren musst. Das setzt ein aktuelles Inventar aller KI-Systeme voraus, die im Unternehmen im Einsatz sind.

Viele Unternehmen unterschätzen, wie viele KI-Tools bereits produktiv genutzt werden. Jedes Tool, das Entscheidungen unterstützt oder Prozesse automatisiert, zählt — unabhängig davon, ob die IT-Abteilung davon weiß (mehr dazu im Kontext Schatten-KI).

Drei Schritte zur Risiko-Einstufung

Schritt 1 — KI-Inventar erstellen. Liste alle KI-Tools auf: Name, Anbieter, Einsatzbereich, Nutzer-Gruppe. Auch Browser-Plug-ins, KI-Funktionen in bestehender Software (Lohn-Abrechnungs-Tools, CRM, HR-Software) gehören dazu.

Schritt 2 — Risikoklasse zuordnen. Für jeden Einsatzfall: Entscheidet die KI über Menschen? (Job, Kredit, Sozialleistung, Bildung) Wenn ja, wahrscheinlich Hochrisiko nach Annex III. Interagiert sie direkt mit Kunden oder generiert sie sichtbare Inhalte? Dann mindestens Transparenz-Pflicht (Art. 50). Für das Raster: siehe Artikel EU AI Act Risiko-Klassifikation.

Schritt 3 — Entscheidung dokumentieren. Halte fest, wer die Einstufung vorgenommen hat, wann, und auf Basis welcher Kriterien. Das ist der Nachweis, dass eine bewusste Entscheidung getroffen wurde — nicht nur ein Tool installiert.

Kategorie 3 — Governance-Dokumentation

Das ist die Kategorie, die am meisten Wirkung erzeugt — und am häufigsten fehlt. Governance-Dokumentation heißt: Es gibt schriftliche Regeln dafür, wie KI im Unternehmen eingesetzt werden darf, wer die Entscheidungshoheit hat, und was passiert, wenn etwas schiefläuft.

Für den Mittelstand bedeutet das nicht hundert Seiten Policy-Dokument. Es bedeutet drei konkrete Dinge:

A) Interne KI-Richtlinie

Eine ein- bis zweiseitige Richtlinie, die folgende Punkte regelt:

• Welche KI-Tools sind freigegeben — und welche nicht.
• Was darf mit KI bearbeitet werden (öffentliche Infos, interne Infos, vertrauliche Kundendaten)?
• Cloud-KI vs. lokale KI: Welche Datenklassen dürfen in welche Umgebung?
• Was passiert bei KI-generierten Ergebnissen — wer prüft, wer zeichnet ab?

B) Rollen und Verantwortlichkeiten

Wer ist KI-Verantwortlicher im Unternehmen? Das muss keine eigene Stelle sein — oft übernimmt das der IT-Leiter, der Datenschutzbeauftragte oder ein GF-Mitglied. Wichtig ist, dass die Rolle benannt, dokumentiert und der Person bekannt ist.

Typische Zuständigkeiten:

• KI-Verantwortlicher: Pflegt das Tool-Inventar, koordiniert Schulungen, eskaliert bei Vorfällen.
• Fach-Verantwortliche je Abteilung: Melden neue Tool-Nutzung, prüfen Outputs in ihrem Bereich.
• Geschäftsführung: Gibt neue KI-Anwendungen im Hochrisiko-Bereich frei, trägt Gesamtverantwortung.

C) Freigabeprozess für neue KI-Tools

Was passiert, wenn ein Mitarbeiter ein neues KI-Tool nutzen möchte? Ohne definierten Prozess passiert: Er nutzt es einfach. Das ist Schatten-KI. Mit Prozess passiert: Er meldet es, das Tool wird eingestuft, ggf. freigegeben, und landet im Inventar.

Der Freigabeprozess muss nicht aufwändig sein. Ein einfaches Formular (Tool-Name, Zweck, Datenklassen, Anbieter-Land) plus eine verantwortliche Person, die innerhalb von 5 Werktagen antwortet, reicht als Start.

Kategorie 4 — Technische Dokumentation bei Hochrisiko-KI

Diese Kategorie trifft nur Unternehmen, die KI-Systeme aus Annex III einsetzen oder bereitstellen. Die häufigsten Fälle im Mittelstand: KI-gestütztes Bewerber-Screening (Beschäftigung), KI für Kreditwürdigkeitsbeurteilungen (Finanzdienstleistungen), oder KI in sicherheitsrelevanter Infrastruktur.

Wenn du in einem dieser Bereiche tätig bist, gelten folgende Dokumentationspflichten nach dem EU AI Act:

• Risikomanagementsystem (Art. 9): Ein kontinuierlicher Prozess, der KI-Risiken identifiziert, bewertet und durch Maßnahmen adressiert. Muss schriftlich fixiert und regelmäßig aktualisiert werden.
• Technische Dokumentation (Art. 11): Beschreibung des Systems, seiner Zweckbestimmung, Trainings- und Testdaten, Leistungskennzahlen, Maßnahmen zur menschlichen Aufsicht.
• Aufzeichnungspflichten (Art. 12): Automatische Logs, die den Betrieb des Systems rückverfolgbar machen. Welche Logs konkret erforderlich sind, hängt vom System ab.
• Aufbewahrungsdauer (Art. 18): Technische Dokumentation ist 10 Jahre ab Inverkehrbringen oder Inbetriebnahme für zuständige Behörden bereit zu halten.

Aufbewahrung und Zugriff: die praktischen Fragen

Drei Fragen, die sich jede GF stellen sollte:

Wo liegen die Dokumente? Im Ordner auf dem Desktop eines Mitarbeiters ist keine gute Antwort. Zentral abgelegt, versioniert, zugriffsgeschützt — das ist das Minimum. Ein einfacher SharePoint-Ordner mit Versionierung tut es.

Wer hat Zugriff? Alle, die sie für ihre Arbeit brauchen — und kein Externer ohne explizite Freigabe. Die KI-Dokumentation enthält häufig unternehmensvertrauliche Informationen über Systeme und Prozesse.

Wie aktuell sind sie? Veraltete Dokumentation ist fast schlimmer als keine — sie suggeriert Kontrolle, die nicht vorhanden ist. Baue halbjährliche Reviews ein, mindestens für das Tool-Inventar und die Risiko-Einstufung.

Die Checkliste für den GF-Schreibtisch

Nutze diese Checkliste als Orientierung — nicht als abschließende rechtliche Prüfung:

• KI-Inventar vorhanden: Alle genutzten KI-Systeme aufgelistet, inkl. Anbieter, Einsatzbereich, Nutzer-Gruppe.
• Risiko-Einstufung dokumentiert: Für jeden Einsatzfall: Risikoklasse, Begründung, verantwortliche Person, Datum.
• Schulungsnachweise vorhanden: Teilnahmelisten, Inhalte, Datum — für alle KI-nutzenden Mitarbeiter (Art. 4 gilt seit Feb. 2025).
• Interne KI-Richtlinie schriftlich fixiert: Erlaubte Tools, Datenklassen, Cloud-vs.-lokal-Regeln, Prüfpflichten.
• Rollen und Verantwortliche benannt: Wer ist KI-Verantwortlicher? Wer ist für welche Entscheidung zuständig?
• Freigabeprozess für neue Tools definiert: Schriftlich, mit klarer Zuständigkeit und Reaktionszeit.
• Review-Zyklus festgelegt: Wann werden Inventar, Einstufung und Richtlinie nächstes Mal aktualisiert?
• Bei Hochrisiko-KI: Art. 9, 11, 12 geprüft: Externes Consulting eingeholt, Fachberater beauftragt.

Typische Lücken — und wie du sie schließt

Lücke 1: Keine Dokumentation, weil „wir nutzen ja nur ChatGPT für Texte". Das ändert nichts an Art. 4. Auch Minimal-Risk-KI-Nutzung erfordert Kompetenz-Nachweise. Einen Schulungsnachweis gibt es auch ohne externe Zertifizierung — eine interne Session reicht als Start.

Lücke 2: Inventar veraltet. Das Tool aus dem letzten Quartal ist längst in Produktion, steht aber nirgendwo. Lösung: Freigabeprozess einführen, sodass neue Tools automatisch ins Inventar kommen — bevor sie produktiv gehen, nicht danach.

Lücke 3: Verantwortlichkeiten unklar. „Das macht die IT" und „das macht Compliance" und am Ende macht es keiner. Benenne eine konkrete Person als KI-Verantwortlichen — auch wenn das nur 10 % ihrer Arbeitszeit ausmacht.

Lücke 4: Dokumentation existiert, ist aber nicht auffindbar. Im Prüfungsfall musst du die Unterlagen zeigen können. In einem Ordner auf dem lokalen Laufwerk des Ex-Mitarbeiters ist das schwierig. Zentrale, dokumentierte Ablage ist kein Luxus.

Lücke 5: Cloud-KI-Nutzung ohne Auftragsverarbeitungsvertrag (AVV). Wenn Mitarbeiter KI-Tools mit Kunden- oder Personaldaten nutzen, greift die DSGVO — unabhängig vom EU AI Act. Dann braucht es einen AVV mit dem Anbieter. Das ist ein separater Prüfpunkt, der eng mit der KI-Dokumentation verzahnt ist.

Vorlage-Idee für ein druckbares Audit-Dokument

Du musst kein komplexes System aufbauen. Eine einfache Vorlage für ein internes Audit-Dokument könnte folgende Abschnitte enthalten:

1. Kopfdaten: Unternehmensname, Datum, verantwortliche GF-Person, nächstes Review-Datum.
2. KI-Inventar-Tabelle: Tool, Anbieter, Einsatzbereich, Nutzer-Gruppe, Risikoklasse, Freigabe-Datum.
3. Schulungsnachweis-Zusammenfassung: Welche Gruppe hat wann welche Schulung absolviert? Gesamtzahl geschulter Mitarbeiter.
4. Governance-Status: Liegt interne Richtlinie vor? Ist KI-Verantwortlicher benannt? Ist Freigabeprozess definiert?
5. Offene Punkte: Was fehlt noch? Bis wann soll es erledigt sein? Wer ist zuständig?
6. Unterschrift GF: Bestätigung, dass die Angaben nach bestem Wissen korrekt sind.

Dieses Dokument jährlich zu erstellen und abzulegen dauert für einen gut aufgestellten Mittelständler 2 bis 4 Stunden. Es zeigt Aufsichtsbehörden und Kunden, dass KI im Unternehmen bewusst gesteuert wird — nicht einfach passiert.

Quellen

• EUR-Lex: Verordnung (EU) 2024/1689 (EU AI Act) — Volltext
• artificialintelligenceact.eu: Art. 11 Technische Dokumentation
• artificialintelligenceact.eu: Art. 18 Aufbewahrung der Dokumentation
• IHK Schleswig-Holstein: AI Act Literacy / KI-Schulungspflicht
• Art. 9 EU AI Act: Risikomanagementsystem — Erläuterung