Verbotene KI-Praktiken nach dem AI Act sicher erkennen

Kurzantwort: Was sind verbotene KI-Praktiken?

Verbotene KI-Praktiken sind in Artikel 5 des AI Act beschriebene Formen des Inverkehrbringens, der Inbetriebnahme oder der Verwendung von KI-Systemen, die wegen ihres unannehmbaren Risikos für Grundrechte und Werte der Europäischen Union nicht zulässig sind. Dazu gehören unter bestimmten Voraussetzungen schädliche Manipulation und Ausbeutung, Social Scoring, einzelne Formen biometrischer Überwachung sowie Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen.

Die Prüfung beginnt daher nicht mit der Frage, ob ein Produkt allgemein als konform beworben wird. Entscheidend ist, was das konkrete System im vorgesehenen und tatsächlichen Einsatz tut, auf welche Personen es wirkt, welche Merkmale es ableitet und welche Entscheidungen oder Nachteile daraus entstehen. Die Leitlinien der Europäischen Kommission erläutern die Tatbestände mit Beispielen, sind aber nicht rechtsverbindlich; die maßgebliche Auslegung bleibt den zuständigen Gerichten vorbehalten.

Die geltenden Verbote und den neuen Stichtag getrennt führen

Die ursprünglichen Verbote nach Artikel 5 gelten seit dem 2. Februar 2025. Der AI Omnibus ergänzte Artikel 5 um zwei weitere Verbote: bestimmte KI-Systeme zur Erzeugung oder Manipulation realistischer intimer oder sexuell expliziter Inhalte ohne die erforderliche Zustimmung sowie Systeme zur Erzeugung oder Manipulation von Material oder Darbietungen des sexuellen Missbrauchs von Kindern. Diese Ergänzungen gelten ab dem 2. Dezember 2026.

Die Europäische Kommission fasst die beiden neuen Buchstaben in ihrer Übersicht als neunte Verbotsgruppe zusammen. Für die betriebliche Prüfung ist die Zählweise weniger wichtig als der exakte Tatbestand: Die neuen Vorschriften unterscheiden zwischen Anbietern beziehungsweise dem Inverkehrbringen eines Systems und seiner gezielten Verwendung durch Betreiber. Für Anbieter beziehen sie unter anderem Zweckbestimmung, vorhersehbare reproduzierbare Ergebnisse und angemessene technische Schutzmaßnahmen ein.

Die Verbotsgruppen als Prüflandkarte verwenden

Eine kurze Liste ersetzt keine Einzelfallprüfung. Sie hilft aber, Beschaffung, KI-Inventar und Änderungsmanagement auf die richtigen Warnsignale auszurichten. Für jede potenziell betroffene Funktion werden Zweck, Daten, betroffene Personen, erzeugte Bewertung und nachfolgende Wirkung dokumentiert.

• schädliche unterschwellige, manipulative oder täuschende Beeinflussung von Entscheidungen
• schädliche Ausnutzung von Vulnerabilitäten aufgrund von Alter, Behinderung oder sozialer beziehungsweise wirtschaftlicher Situation
• Social Scoring mit sachfremder oder unverhältnismäßiger nachteiliger Behandlung
• bestimmte individuelle Vorhersagen oder Bewertungen eines Straftatenrisikos
• ungezieltes Auslesen von Gesichtsbildern zum Aufbau oder zur Erweiterung von Gesichtserkennungsdatenbanken
• Ableitung von Emotionen am Arbeitsplatz oder in Bildungseinrichtungen, vorbehaltlich enger medizinischer oder sicherheitsbezogener Ausnahmen
• biometrische Kategorisierung zur Ableitung besonders sensibler persönlicher Merkmale
• biometrische Echtzeit-Fernidentifizierung in öffentlich zugänglichen Räumen zu Strafverfolgungszwecken, soweit keine eng geregelte Ausnahme greift
• ab 2. Dezember 2026 die ergänzten Verbote zu bestimmten nicht einvernehmlichen intimen Inhalten und zu Missbrauchsdarstellungen von Kindern

Emotionserkennung am Arbeitsplatz als konkreten Prüffall behandeln

Ein für Unternehmen besonders greifbarer Fall ist die Emotionserkennung am Arbeitsplatz. Artikel 5 erfasst KI-Systeme, die Emotionen natürlicher Personen in Arbeits- oder Bildungssituationen ableiten, außer wenn das System aus medizinischen oder Sicherheitsgründen eingeführt oder eingesetzt werden soll. Die Bezeichnung des Produkts als Stimmungsanalyse, Engagement-Messung oder Qualitätsfunktion ändert den Prüfgegenstand nicht.

Bei Sprach-, Video- und Verhaltensanalysen muss daher vor dem Pilot geklärt werden, ob das System lediglich einen sachlichen Inhalt verarbeitet oder innere Zustände aus Stimme, Gesicht, Bewegung oder anderen biometrischen Signalen ableiten soll. Ein Callcenter darf eine Gesprächsaufzeichnung nicht allein deshalb als zulässig behandeln, weil die Funktion vom Softwareanbieter standardmäßig angeboten wird. Funktion, Datenzugriff und Auswertung sollten bis zur geklärten Freigabe technisch deaktiviert bleiben.

• Funktionsbeschreibung und tatsächliche Ausgabefelder prüfen
• biometrische Signale und daraus abgeleitete Zustände sichtbar machen
• Arbeitsplatzbezug und behaupteten medizinischen oder sicherheitsbezogenen Zweck belegen
• personenbezogene Rankings, Dashboards und Exporte in den Test einbeziehen
• nicht benötigte Analysefunktionen im Vertrag und in der Konfiguration ausschließen

Manipulation, Vulnerabilität und Social Scoring nicht mit Personalisierung verwechseln

Nicht jede Personalisierung oder Bewertung ist automatisch verboten. Bei manipulativen oder ausbeuterischen Praktiken kommt es auf mehrere kumulative Voraussetzungen an, darunter die eingesetzte Technik, eine wesentliche Verhaltensänderung und ein erheblicher oder hinreichend wahrscheinlicher Schaden. Beim Social Scoring sind unter anderem Bewertungsgrundlage, Zeitraum und eine sachfremde oder unverhältnismäßige nachteilige Behandlung entscheidend.

Für Vertrieb, Kundenservice, Versicherung, Forderungsmanagement oder Personalprozesse sollte das Unternehmen deshalb festhalten, welche Merkmale ein Modell bildet und welche Folgehandlung daran hängt. Ein neutral klingender Score kann problematisch werden, wenn er Daten aus einem Kontext in einen anderen überträgt oder Personen ohne sachlichen Bezug vom Zugang zu Leistungen ausschließt. Der Prüfvermerk muss daher Eingangsdaten, Score-Bedeutung, Schwellenwert und konkrete Wirkung verbinden.

Anbieterunterlagen in ausführbare Nutzungsgrenzen übersetzen

Einkauf und Fachbereich benötigen mehr als eine allgemeine AI-Act-Erklärung. Sie sollten die Zweckbestimmung, ausgeschlossene Nutzungen, optional aktivierbare Analysefunktionen, verwendete biometrische oder verhaltensbezogene Merkmale, Schutzmaßnahmen gegen Missbrauch und das Änderungsverfahren des Anbieters prüfen. Bei generativen Systemen gehört dazu, welche Sicherheitsfilter bestehen, wie Fehlgebrauch gemeldet wird und wie beobachtete Umgehungen korrigiert werden.

Diese Informationen werden in Konfiguration und Betrieb übersetzt. Funktionen außerhalb des freigegebenen Zwecks bleiben deaktiviert, Rollen erhalten nur erforderliche Rechte und Schnittstellen dürfen keine verbotene Nutzung als versteckten Nebenpfad ermöglichen. Ein vertragliches Verbot ohne technische Begrenzung ist ebenso unzureichend wie ein Filter, dessen Deaktivierung jeder Nutzer selbst vornehmen kann.

• vorgesehenen Zweck und ausgeschlossene Einsatzfelder versioniert dokumentieren
• Standardfunktionen, optionale Module und eigene Erweiterungen getrennt prüfen
• Rollen, Datenquellen, Merkmalsableitungen und nachfolgende Aktionen begrenzen
• Schutzmaßnahmen, Meldung, Sperrung und Korrektur von Missbrauch testen
• Modell-, Funktions- und Richtlinienänderungen als erneutes Prüfereignis behandeln

Die neuen Verbote zum 2. Dezember 2026 in Produkt und Betrieb verankern

Die neuen Buchstaben ba und bb des Artikels 5 adressieren klar abgegrenzte Formen synthetischer oder manipulierter intimer Inhalte sowie Missbrauchsdarstellungen von Kindern. Für Anbieter ist nicht nur ein ausdrücklich dafür gebautes System relevant. Erfasst sein kann auch ein System, bei dem ein solches Ergebnis aufgrund von Gestaltung, Training, Architektur, Fähigkeiten oder nutzerseitigen Funktionen vorhersehbar und reproduzierbar ist, wenn angemessene technische Schutzmaßnahmen und weitere Vorkehrungen fehlen.

Ein mittelständisches Unternehmen, das ein allgemeines Generierungssystem lediglich nutzt, wird dadurch nicht zum Anbieter jeder Grundfunktion. Als Betreiber muss es aber verhindern, dass eigene Konten, Kampagnen, Workflows oder Schnittstellen gezielt für die verbotene Erzeugung oder Manipulation eingesetzt werden. Geeignete Maßnahmen umfassen gesperrte Zwecke, begrenzte Upload- und Bearbeitungsrechte, Moderation, einen vertraulichen Meldeweg, schnelle Kontosperrung, beweissichere Protokollierung im erforderlichen Umfang und einen klaren Eskalationsweg. Die konkrete rechtliche und strafrechtliche Behandlung gehört in fachkundige Hände.

Verbot, Hochrisiko-Einstufung und Transparenzpflicht getrennt entscheiden

Ein Verbot ist keine besonders strenge Variante einer normalen Freigabe. Wenn die Voraussetzungen einer verbotenen Praxis erfüllt sind, kann das System nicht durch mehr Dokumentation oder menschliche Aufsicht in einen zulässigen Hochrisiko-Einsatz verwandelt werden. Umgekehrt ist nicht jedes biometrische, bewertende oder generative System verboten; außerhalb des Verbots können Hochrisiko-, Transparenz-, Datenschutz- oder sektorale Pflichten greifen.

Der Entscheidungsbaum sollte deshalb zuerst den sachlichen Anwendungsbereich und Artikel 5 prüfen. Nur wenn kein Verbot greift, folgen Hochrisiko-Einstufung, Transparenzpflichten, Datenschutz-Folgenabschätzung, Mitbestimmung und weitere Fachprüfungen. Diese Reihenfolge verhindert, dass Teams viel Aufwand in die Dokumentation eines Einsatzes investieren, der bereits an einer vorgelagerten Verbotsgrenze scheitert.

Bei einem Verdachtsfall Nutzung und Wirkung kontrolliert stoppen

Ein Verdacht auf eine verbotene Praxis darf nicht als gewöhnliches Supportticket weiterlaufen. Zuerst werden neue Eingaben, automatisierte Entscheidungen und externe Ausgaben gestoppt, ohne relevante Nachweise oder Betroffenenrechte zu gefährden. Zugänge, Tokens, geplante Jobs und angeschlossene Aktionen werden gesperrt. Gleichzeitig bleibt nachvollziehbar, welche Systemversion, Konfiguration und Nutzerrolle betroffen war.

Danach klären die zuständigen Fach-, Datenschutz-, Sicherheits-, Personal- und Rechtsfunktionen den Sachverhalt. Betroffene Daten, Ergebnisse und Folgewirkungen werden nach einem festgelegten Verfahren gesichert, begrenzt oder korrigiert. Erst eine dokumentierte Entscheidung mit technischen Abnahmekriterien kann einen veränderten zulässigen Einsatz wieder freigeben; ein bloßes Umbenennen der Funktion genügt nicht.

• neue Verarbeitung und wirkungsreiche Systemaktionen sofort begrenzen
• Konten, Schlüssel, Schnittstellen und Hintergrundläufe kontrolliert sperren
• Version, Konfiguration, Zweck, Daten und bereits ausgelöste Wirkungen sichern
• zuständige interne Stellen und erforderlichenfalls externe Fachberatung einbeziehen
• Korrektur, Information, Löschung oder weitere Maßnahmen fallbezogen entscheiden
• Wiederfreigabe nur nach dokumentierter Neubewertung und technischem Test

Verbotene Praktiken in sieben Stationen vor dem Einsatz prüfen

Der Kontrollprozess lässt sich in Beschaffung, Entwicklung und Change-Management wiederverwenden. Er sollte nicht nur beim ersten Vertrag, sondern auch bei neuen Datenquellen, Modellen, Analysefunktionen oder Nutzergruppen durchlaufen werden.

• 1. System, Anbieterrolle, Betreiberrolle und konkrete Zweckbestimmung erfassen.
• 2. Betroffene Personen, Vulnerabilitäten, biometrische Signale und abgeleitete Merkmale bestimmen.
• 3. Entscheidung, Score, Inhalt oder Systemaktion samt möglichem Nachteil beschreiben.
• 4. Jeden einschlägigen Artikel-5-Tatbestand mit seinen kumulativen Voraussetzungen prüfen.
• 5. Ausnahmen nur mit belegtem Zweck, enger Reichweite und fachlicher Verantwortung bewerten.
• 6. Zulässige Nutzung technisch begrenzen, testen und im KI-Inventar versionieren.
• 7. Änderungen, Beschwerden, Missbrauch und neue Anbieterfunktionen laufend überwachen.

Verbotsgrenzen als dauerhafte Betriebskontrolle führen

Ein einmal geprüfter Produktname bleibt nicht automatisch zulässig. Anbieter verändern Modelle, Moderation, Schnittstellen und Ausgabefelder; Unternehmen erweitern Datenzugriffe und automatisierte Aktionen. Das KI-Inventar sollte deshalb den freigegebenen Zweck, ausgeschlossene Nutzungen, relevante Systemversionen, Schutzmaßnahmen und den nächsten Prüfanlass enthalten.

Geeignete Betriebssignale sind aktivierte Funktionen außerhalb des Freigabestands, fehlgeschlagene Schutzkontrollen, Meldungen über problematische Ausgaben, neue biometrische oder personenbezogene Ableitungen und ungeplante Folgewirkungen. Die Kontrolle zielt nicht auf möglichst viele Protokolle, sondern auf früh erkennbare Grenzverletzungen und einen nachweisbar funktionierenden Stop- und Korrekturprozess.