Zum Hauptinhalt
Ablauf prüfen lassen

Praxisleitfaden · Sicherheit und Regulierung

AI-Act-Aufsicht: Prüfungen und Beschwerden sicher bearbeiten

Seit dem 29. Juli 2026 regelt das deutsche KI-Marktüberwachungs- und Innovationsgesetz die nationale Aufsicht über den AI Act. Eine Beschwerde oder Behördenanfrage darf deshalb weder im allgemeinen Support versanden noch eine unkontrollierte Dokumentensuche auslösen. Dieser Leitfaden zeigt, wie Unternehmen Zuständigkeit und KI-Rolle klären, den betroffenen Systemstand sichern, belastbare Nachweise zusammenstellen und Korrekturen bis zur dokumentierten Wiederfreigabe steuern.

Schwarze Prozessbahnen führen geordnete Nachweismodule durch eine goldene Prüfschleuse; ein roter Beschwerdeweg mündet kontrolliert in den Prüfprozess.
Redaktionelles DAG-Visual · mit KI erstellt

Kurz gefasst

Die wichtigsten Punkte

  • Die Bundesnetzagentur ist nach dem deutschen KI-Marktüberwachungs- und Innovationsgesetz grundsätzlich Marktüberwachungsbehörde und zentrale Beschwerdestelle; für bestimmte Produkte und Sektoren bleiben andere Behörden zuständig.
  • Beschwerden können unter anderem verbotene Praktiken, Hochrisiko-Pflichten, Transparenz, Zusammenarbeit und Auskunft betreffen. Die zentrale Beschwerdestelle leitet einen Fall bei Bedarf an die zuständige Stelle weiter.
  • Bei einer Anfrage müssen Unternehmen zuerst System, Version, Zweck, eigene KI-Rolle und betroffenen Zeitraum festhalten. Eine pauschale Datensammlung erschwert die Prüfung und kann unnötig vertrauliche Informationen offenlegen.
  • Ein prüffähiges Nachweispaket verbindet Freigabeentscheidung, Anbieterunterlagen, Konfiguration, Datenflüsse, Nutzerinformation, menschliche Aufsicht, Tests, Protokolle und Änderungen mit der konkreten Anfrage.
  • Vertragliche Zusagen des Anbieters ersetzen keine eigenen Betriebsnachweise. Verantwortlichkeiten für Dokumente, Zugriffe, Fristen und Korrekturen müssen vor einem Aufsichtsfall feststehen.
  • Die Einordnung hat den Stand 20. Oktober 2026, ist eine betriebliche Orientierung und ersetzt keine rechtliche Beratung im Einzelfall.

Kurzantwort: Was bedeutet AI-Act-Aufsicht für Unternehmen?

AI-Act-Aufsicht bedeutet, dass zuständige Behörden die Einhaltung der KI-Verordnung überwachen, Beschwerden bearbeiten, Unterlagen anfordern und bei Risiken oder Verstößen Korrekturmaßnahmen verlangen können. Für Unternehmen ist daher nicht nur entscheidend, ob ein KI-System ursprünglich freigegeben wurde. Sie müssen auch später erklären können, welches System in welcher Version, für welchen Zweck und mit welchen Schutzmaßnahmen betrieben wurde.

Ein belastbarer Prüfprozess beginnt mit der konkreten Anfrage und führt von der Zuständigkeits- und Rollenklärung über die Sicherung des betroffenen Systemstands bis zur nachvollziehbaren Antwort und möglichen Korrektur. Er verbindet Recht, Fachprozess und Technik. Dieser Leitfaden beschreibt diese organisatorische Umsetzung; die rechtliche Bewertung eines Einzelfalls gehört in fachkundige Hände.

Zuständigkeit nicht aus dem Absender allein ableiten

Das am 29. Juli 2026 in Kraft getretene KI-Marktüberwachungs- und Innovationsgesetz bestimmt die Bundesnetzagentur grundsätzlich als Marktüberwachungsbehörde für den AI Act. Zugleich bleiben Zuständigkeiten für bestimmte Produkte, Finanzdienstleistungen und weitere Sektoren erhalten. Die Bundesnetzagentur übernimmt außerdem eine koordinierende Funktion und betreibt die zentrale Beschwerdestelle. Sie kann eine Eingabe an die fachlich zuständige Behörde weiterleiten.

Unternehmen sollten deshalb nicht voreilig annehmen, jeder KI-Fall werde ausschließlich von einer einzigen Stelle bearbeitet. Neben der KI-Verordnung können Datenschutz, Produktsicherheit, Arbeitsrecht, Medienrecht oder sektorale Regeln berührt sein. Eine Beschwerde wegen personenbezogener Daten kann beispielsweise bei einer Datenschutzaufsichtsbehörde liegen, während eine AI-Act-Frage über die zentrale Beschwerdestelle geführt wird. Intern braucht es trotzdem nur einen Eingang und eine koordinierende Fallverantwortung.

  • Absender, Rechtsgrundlage und angefragte Pflicht getrennt erfassen
  • KI-System, Produktbezug, Branche und betroffene Personen bestimmen
  • mögliche Parallelzuständigkeiten sichtbar machen, aber Antworten koordinieren
  • fachliche oder rechtliche Zweifel früh klären, statt Zuständigkeiten selbst endgültig festzulegen

Beschwerde, Stichprobe und Behördenanfrage unterschiedlich behandeln

Nach Artikel 85 des AI Act können natürliche und juristische Personen bei der zuständigen Marktüberwachungsbehörde Beschwerde einlegen. Die Bundesnetzagentur nennt als mögliche Gegenstände unter anderem verbotene KI-Praktiken, Anforderungen an Hochrisiko-Systeme, Transparenzpflichten sowie fehlende Zusammenarbeit oder Auskunft. Sie kann außerdem von Amts wegen tätig werden. Marktüberwachung ist damit nicht auf gemeldete Vorfälle beschränkt; auch Stichproben und eigene Ermittlungen sind möglich.

Eine Beschwerde ist nicht automatisch der Nachweis eines Verstoßes. Sie ist aber ein Prüfimpuls, der unverändert, vertraulich und nachvollziehbar aufgenommen werden sollte. Eine behördliche Anforderung erhält einen eigenen Fallstatus, Verantwortliche und Fristen. Ein schwerwiegender Vorfall nach Artikel 73, eine Datenschutzverletzung oder ein Sicherheitsereignis kann daneben einen separaten Meldeprozess mit eigenen Voraussetzungen und Fristen auslösen. Diese Prozesse werden verknüpft, aber nicht vermischt.

Den betroffenen Systemstand sichern, ohne den Betrieb blind einzufrieren

Der erste operative Schritt ist eine kontrollierte Stabilisierung. Das Unternehmen erfasst Eingang, Frist, betroffene Funktion, Zeitraum, Nutzergruppe und behauptete Wirkung. Danach werden die relevante Modell- oder Softwareversion, Konfiguration, Prompts oder Regeln, angebundene Datenquellen, Berechtigungen und automatisierte Folgeaktionen gesichert. Laufende Änderungen am betroffenen Teil werden bis zur Triage nachvollziehbar begrenzt.

Ein pauschaler Stopp sämtlicher KI-Systeme ist selten hilfreich. Wenn jedoch eine verbotene Praxis, ein erhebliches Risiko oder eine fortdauernde nachteilige Wirkung plausibel ist, muss die betroffene Nutzung kontrolliert begrenzt oder gestoppt werden. Beweise dürfen dabei weder überschrieben noch nachträglich rekonstruiert werden. Änderungen zur Schadensbegrenzung erhalten einen Zeitstempel, eine Begründung und einen klaren Bezug zum gesicherten Ausgangsstand.

  • Fallnummer, Eingangskanal, Frist und verantwortliche Person festlegen
  • betroffene Systemkomponente, Version, Zweck und Zeitraum eingrenzen
  • relevante Konfigurationen, Protokolle und Entscheidungen unverändert sichern
  • nur die betroffene Wirkung oder Änderung kontrolliert begrenzen
  • jede Sofortmaßnahme mit Zeitpunkt, Verantwortlichem und Grund dokumentieren

Eigene KI-Rolle und Lieferkette vor der Antwort klären

Die Pflichten hängen davon ab, ob ein Unternehmen Anbieter, Betreiber, Einführer, Händler oder in einer Kombination dieser Rollen handelt. Ein mittelständisches Unternehmen ist häufig Betreiber eines eingekauften Systems. Durch Änderungen an Zweck, Kennzeichnung oder System kann sich die Rolle jedoch verändern. Die Antwort an eine Behörde sollte diese Einordnung nicht voraussetzen, sondern anhand von Vertrag, Zweckbestimmung, technischer Veränderung und tatsächlichem Einsatz belegen.

Für eingekaufte oder eingebettete KI muss klar sein, welche Unterlagen beim Anbieter liegen und wie schnell sie bereitgestellt werden. Dazu gehören mindestens Zweckbestimmung, Gebrauchsanweisung, Versions- und Änderungsinformationen, relevante Konformitätsunterlagen sowie vereinbarte Unterstützung bei Behördenanfragen. Eigene Nachweise zu Prozess, Konfiguration, menschlicher Aufsicht und tatsächlicher Nutzung bleiben Verantwortung des Unternehmens; sie lassen sich nicht durch eine allgemeine Anbietererklärung ersetzen.

Ein prüffähiges Nachweispaket entlang der Anfrage aufbauen

Artikel 21 verpflichtet Anbieter von Hochrisiko-KI-Systemen, einer zuständigen Behörde auf begründetes Verlangen die erforderlichen Informationen und Unterlagen in verständlicher Form bereitzustellen und gegebenenfalls Zugang zu automatisch erzeugten Protokollen zu gewähren, soweit diese unter ihrer Kontrolle stehen. Marktüberwachungsbehörden verfügen darüber hinaus über Prüf- und Zugriffsrechte. Für Unternehmen folgt daraus kein Anlass zur ungefilterten Vollablage. Das Paket sollte jede konkrete Frage mit dem passenden, aktuellen Nachweis verbinden.

Ein übersichtliches Deckblatt nennt System, Rolle, Zweck, Version, Zeitraum, Eigentümer und Anlagen. Dahinter folgen nur einschlägige Belege mit Herkunft, Versionsstand und Verantwortlichem. Geschäftsgeheimnisse und personenbezogene Daten werden gekennzeichnet und über den vorgesehenen sicheren Kanal übermittelt. Schwärzungen oder Einschränkungen dürfen nicht improvisiert werden, sondern müssen mit der zuständigen fachlichen und rechtlichen Stelle abgestimmt sein.

  • Freigabe, KI-Inventareintrag, Risikoeinstufung und geprüfte Nutzung
  • Anbieterunterlagen, Vertrag, Zweckbestimmung und relevante Konformitätsnachweise
  • Systemarchitektur, Datenflüsse, Schnittstellen, Rollen und Berechtigungen
  • Versionen von Modell, Anwendung, Konfiguration und Schutzmechanismen
  • Tests, Qualitätsgrenzen, Fehlerszenarien und Kriterien menschlicher Aufsicht
  • Nutzerinformationen, Transparenzhinweise und betroffene Prozessanweisungen
  • relevante Protokolle, Entscheidungen, Übersteuerungen, Beschwerden und Änderungen
  • Sofortmaßnahmen, Korrekturplan, Verantwortliche und Wirksamkeitskontrolle

Die Behördenantwort als kontrollierten Arbeitsablauf führen

Eine belastbare Antwort trennt Tatsachen, fachliche Bewertung und offene Punkte. Zuerst wird jede Frage in einen Arbeitsauftrag übersetzt und einer Quelle zugeordnet. Fachbereich und Systemverantwortung bestätigen den tatsächlichen Ablauf; Datenschutz, Informationssicherheit und gegebenenfalls Rechtsberatung prüfen ihre Bereiche. Eine zentrale Fallverantwortung hält Version, Freigabe und Versand zusammen.

Nicht verfügbare Informationen werden nicht nachträglich als historische Fakten formuliert. Stattdessen wird transparent beschrieben, was vorliegt, welche Lücke besteht und wie sie geschlossen oder künftig verhindert wird. Rückfragen an Anbieter und interne Stellen erhalten nachvollziehbare Fristen. Vor Versand werden Antwort und Anlagen gegen das behördliche Schreiben geprüft, damit keine Frage unbeantwortet bleibt und keine widersprüchlichen Dokumentstände übermittelt werden.

  • Anforderung in einzelne Fragen und Nachweise zerlegen
  • jede Aussage mit Quelle, Version und Verantwortlichem verbinden
  • Tatsachen, Bewertung, Annahmen und offene Punkte sichtbar trennen
  • vertrauliche Inhalte markieren und sicheren Übermittlungsweg nutzen
  • Vier-Augen-Freigabe für Vollständigkeit, Konsistenz und Fristeinhaltung
  • versandte Fassung, Eingangsbestätigung und weitere Rückfragen versioniert ablegen

Korrekturmaßnahmen technisch umsetzen und wirksam nachweisen

Stellt die Behörde oder das Unternehmen ein Risiko oder eine Abweichung fest, reicht eine schriftliche Zusage nicht. Die Korrektur muss auf die betroffene Wirkung zielen: Funktionen deaktivieren, Rollen begrenzen, Hinweise ergänzen, Datenzugriffe ändern, menschliche Kontrolle verstärken, Modell oder Regeln aktualisieren oder den Einsatz beenden. Abhängig von Fall und Zuständigkeit können Behörden Einschränkung, Rücknahme, Rückruf oder andere Abhilfemaßnahmen verlangen.

Vor einer Wiederfreigabe werden dieselben Prozessschritte und Schnittstellen erneut getestet, die den Fall ausgelöst haben. Das Unternehmen dokumentiert Ausgangsbefund, Änderung, Test, Restrisiko, Freigabe und Überwachung. Bei Anbieterabhängigkeit bleibt ein eigener technischer Nachweis erforderlich: Versionsnummer und Release-Mitteilung allein belegen nicht, dass die Abweichung im konkreten Unternehmensprozess beseitigt ist.

Prüfbereitschaft in Betrieb und Verträgen verankern

Der beste Aufsichtsprozess beginnt vor der ersten Beschwerde. Im KI-Inventar werden System, Rolle, Zweck, Risikoeinstufung, Eigentümer, Anbieter, Schnittstellen und Nachweisorte gepflegt. Beschaffung und Verträge regeln die Unterstützung bei Anfragen, die Bereitstellung aktueller Unterlagen, Zugriff auf erforderliche Protokolle, Änderungsinformationen und Korrekturfristen. Das Berechtigungskonzept stellt sicher, dass Nachweise erreichbar bleiben, ohne allen Beteiligten uneingeschränkten Zugriff zu geben.

In Übungen kann ein realistischer Fall vom Eingang bis zur freigegebenen Antwort durchlaufen werden. Dabei zeigen sich typische Brüche: unklare Eigentümer, fehlende Versionsstände, Logs ohne Kontext, Anbieterunterlagen in persönlichen Postfächern oder widersprüchliche Freigaben. Ziel ist keine maximale Papiermenge, sondern eine kurze Kette vom konkreten Systemereignis zur belastbaren Entscheidung und zurück zur technischen Maßnahme.

Prüfung und Beschwerde in neun Schritten bearbeiten

Der Ablauf kann als gemeinsames Verfahren für Compliance, Fachbereich, IT und Management geführt werden. Spezielle Melde- oder Rechtsfristen bleiben daneben bestehen und müssen im Einzelfall geprüft werden.

  • 1. Eingang, Frist, Absender, Rechtsgrundlage und behaupteten Sachverhalt erfassen.
  • 2. Betroffenes System, Version, Zeitraum, Personen und Prozesswirkung eingrenzen.
  • 3. Eigene Rolle, Anbieterbeziehung und mögliche Zuständigkeiten klären.
  • 4. Relevanten Systemstand, Konfigurationen, Protokolle und Entscheidungen sichern.
  • 5. Fortdauernde Risiken mit begrenzten, dokumentierten Sofortmaßnahmen kontrollieren.
  • 6. Jede Frage einem aktuellen Nachweis und einem verantwortlichen Prüfer zuordnen.
  • 7. Konsistente Antwort samt Anlagen fachlich und rechtlich freigeben.
  • 8. Geforderte oder selbst festgelegte Korrekturen technisch umsetzen und testen.
  • 9. Abschluss, Restrisiko, Wiederfreigabe und Verbesserungen im KI-Inventar dokumentieren.

Quellen und fachliche Grundlagen

Für die rechtliche und technische Einordnung wurden die folgenden Primärquellen herangezogen. Der Beitrag ersetzt keine Prüfung des konkreten Einzelfalls.

Häufige Fragen

Antworten für die erste Einordnung

Welche Behörde überwacht den AI Act in Deutschland?
Das deutsche KI-Marktüberwachungs- und Innovationsgesetz bestimmt grundsätzlich die Bundesnetzagentur als Marktüberwachungsbehörde und überträgt ihr eine koordinierende Funktion. Für bestimmte Produkte, Finanzdienstleistungen und weitere Sektoren können andere Behörden zuständig sein. Die konkrete Zuständigkeit richtet sich daher nach System, Produkt und betroffenem Rechtsbereich.
Wo kann eine Beschwerde über ein KI-System eingereicht werden?
Die Bundesnetzagentur betreibt die zentrale Beschwerdestelle nach dem KI-Marktüberwachungs- und Innovationsgesetz. Sie nimmt Beschwerden nach Artikel 85 des AI Act auf und leitet sie bei Bedarf an die zuständige Behörde weiter. Für reine Datenschutzfragen oder andere Rechtsbereiche können eigene Beschwerdewege einschlägig sein.
Muss ein Unternehmen wegen jeder Beschwerde sein KI-System abschalten?
Nein. Zuerst werden Sachverhalt, mögliche Wirkung und Risiko eingegrenzt. Bei einer plausiblen verbotenen Praxis, einem erheblichen Risiko oder einer fortdauernden nachteiligen Wirkung kann eine kontrollierte Begrenzung oder ein Stopp der betroffenen Nutzung erforderlich sein. Die Entscheidung muss fallbezogen, dokumentiert und fachkundig getroffen werden.
Welche Unterlagen können für eine AI-Act-Prüfung wichtig sein?
Typisch sind KI-Inventareintrag, Rolle und Zweck, Anbieter- und Konformitätsunterlagen, System- und Datenflussbeschreibung, Versionen und Konfigurationen, Tests, Nutzerinformationen, menschliche Aufsicht, relevante Protokolle, Änderungen, Beschwerden und Korrekturmaßnahmen. Entscheidend ist der Bezug zur konkreten Anfrage, nicht die Menge der Dokumente.
Darf eine Behörde Protokolle oder technische Unterlagen verlangen?
Der AI Act gibt Marktüberwachungsbehörden Prüf- und Zugriffsrechte. Artikel 21 verpflichtet Anbieter von Hochrisiko-KI-Systemen auf begründetes Verlangen zur Bereitstellung erforderlicher Informationen und Unterlagen und gegebenenfalls zum Zugang zu automatisch erzeugten Protokollen unter ihrer Kontrolle. Umfang und sichere Übermittlung müssen für den konkreten Fall geprüft werden.
Reicht die AI-Act-Erklärung des Softwareanbieters als Nachweis?
Nein. Anbieterunterlagen sind ein Bestandteil. Das einsetzende Unternehmen muss zusätzlich den tatsächlichen Zweck, die eigene Konfiguration, Datenflüsse, Berechtigungen, menschliche Kontrolle, Änderungen und den realen Betriebsprozess nachweisen können.
Ist eine AI-Act-Beschwerde dasselbe wie ein schwerwiegender Vorfall?
Nein. Eine Beschwerde ist ein Recht nach Artikel 85 und kann verschiedene vermutete Verstöße betreffen. Ein schwerwiegender Vorfall ist in der KI-Verordnung gesondert definiert und kann einen eigenen Meldeprozess auslösen. Auch Datenschutz- oder Sicherheitsmeldungen haben eigene Voraussetzungen und Fristen.