Ab Februar 2025: verbotene KI-Praktiken und KI-Kompetenz

Im Februar 2025 treten die ersten KI-Verbote der KI-Verordnung sowie die Pflicht zur „KI-Kompetenz“ in Kraft. Allen Unternehmen und Selbstständigen, die KI einsetzen, sollten die Verbote kennen und dafür sorgen, dass deren Mitarbeitende die Gefahren der KI-Nutzung kennen und zu vermeiden wissen. Ansonsten drohen hohe Bußgelder, Schadensersatzforderungen und die persönliche Haftung der Geschäftsführung.

Die KI-Verordnung betrifft alle

Die KI-Verordnung und ihre Regeln betreffen nicht nur Entwickler und Anbieter von KI-Tools und Software, sondern auch diejenigen, die KI einsetzen. Aufgrund einer rasanten Verbreitung von KI-Komponenten in praktisch allen Bereichen, angefangen mit der Erstellung von Content oder Code über Gesprächsprotokollierung und E-Mail-Beantwortung bis zu KI-Hotlines und Bewerberauswahl, müssen alle und insbesondere auch Unternehmen und selbstständige Personen die KI-Verordnung beachten.

Ausgenommen ist die ausschließlich persönliche Nutzung von KI. Doch auch wer als Privatperson KI-Tools, auch wenn kostenlos, öffentlich bereitstellt oder KI-Bilder öffentlich postet, muss die KI-Verordnung beachten.

KI ist, wo KI draufsteht

Zur Anwendung kommt die KI-Verordnung allerdings nur, wenn es sich bei der eingesetzten Software tatsächlich um KI handelt. Die KI-Verordnung versteht KI dabei als ein maschinengestütztes KI-System, das innerhalb bestimmter Rahmenbedingungen autonom arbeitet und lernfähig ist sowie die physische oder virtuelle Welt beeinflussen kann (Art. 3 Nr. 60 KI-VO).

Diese Definition lässt einen großen Definitionsspielraum, der in der Praxis aber selten relevant ist. Es ist effizienter bei allen Tools, die den Anschein machen, KI-gestützt zu sein oder als solche bezeichnet werden, zuerst zu prüfen, ob deren Einsatz nicht gegen die KI-VO verstößt. Erst wenn das der Fall sein sollte, kann man genauer prüfen, ob es sich tatsächlich um KI-Software handelt.

Risikoabhängige Verbote und Pflichten

Die KI-VO enthält verschiedene Verbote und Pflichten, die mit der Risikokategorie der eingestuften KI-Systeme variieren:

• Unakzeptables Risiko: KI-Systeme, die besonders hohe Risiken bergen, dürfen nicht entwickelt oder eingesetzt werden.
• Hohes Risiko: KI-Systeme, die unter anderem biometrische Verfahren einsetzen, bei der Personalauswahl oder Personalbewertung, bei Zulassung zu Bildungseinrichtungen oder bei Prüfungen eingesetzt werden, müssen ein besonderes Prüfverfahren durchlaufen und ein „CE“-Kennzeichen tragen.
• Transparenzrisiko: Deepfakes, also täuschend echt wirkende Nachbildungen echter Menschen, Sachen, Ereignisse oder Orte sowie automatisch generierte KI-News, müssen deutlich als KI-Erzeugnis markiert sein.
• Generelle KI-Modelle: Neben diesen Risiken, wenn auch hier weniger relevant, wird auch die Entwicklung potenter KI-Modelle (wie zum Beispiel GPT-4) geregelt.

Verbotene KI-Praktiken

Die KI-Verordnung verbietet den KI-Einsatz bei Praktiken, die sie als Verletzung der Menschenwürde betrachtet (Art. 5 KI-VO). Die meisten der genannten Fälle betreffen staatliche Stellen. Dazu zählen Social Scoring, Vorhersage krimineller Aktivitäten, Gesichtserkennungsdatenbanken sowie biometrische Identifizierung und Kategorisierung nach Rasse, sexueller Orientierung oder politischer Ansicht. Für Unternehmen ist besonders das Verbot der Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen wichtig. Aber auch im Online-Marketing könnte die KI-VO relevant werden.

KI-Verbote für das Online-Marketing

KI darf nicht dazu eingesetzt werden, die Entscheidungsfähigkeit und oder das Verhalten von Menschen maßgeblich zu beeinflussen und ihnen dadurch großen Schaden zuzufügen. Verboten sind hierbei die Beeinflussung unterhalb der Wahrnehmungsschwelle, absichtliche Manipulation und Ausnutzung von Schwächen oder Schutzbedürftigkeit, aufgrund von Alter, Behinderung oder sozialer und wirtschaftlicher Situation. Derartige Konstellationen sind insbesondere im Online-Marketing vorstellbar (s. Abbildung 1).

Zwar sollen durch das Verbot übliche Geschäftspraktiken nicht berührt werden. Doch es liegt nicht fern, dass Datenschützer dieses Verbot als ein weiteres Argument im Kampf gegen Profiling- und Targeting-Maßnahmen aufgreifen werden. Denn es entspricht ihren bisherigen Argumenten, die darin eine unterschwellige Beeinflussung, Manipulation oder Ausnutzung von Unerfahrenheit der Nutzer sehen. Diese Problematik ist zudem nur einer der Gründe, weshalb alle Mitarbeitenden, die KI-Tools verwenden, umfassend über die Risiken informiert sein müssen und wissen sollten, wie sie Gesetzesverstöße vermeiden können.

Pflicht zur KI-Kompetenz und persönliche Haftung

Als erste Pflicht verlangt die KI-Verordnung, dass Personen, die KI einsetzen, über die hierzu nötige Kompetenz verfügen. Diese „KI-Kompetenz“ bedeutet, dass sich die KI-Nutzer der Risiken der KI-Nutzung bewusst sind und wissen, wie man diese Gefahren vermeidet (Art. 4 KI-VO). Denn die Folgen mangelnder KI-Kompetenz können erheblich sein:

• Bußgelder nach der KI-VO: Verstöße gegen die oben genannten KI-Verbote können ein Bußgeld von bis zu 35 Millionen Euro oder 7 % des weltweiten Jahresumsatzes nach sich ziehen.
• Bußgelder nach der DSGVO: Die fehlende KI-Kompetenz wirkt sich ebenfalls als ein bußgelderhöhender Faktor bei der Berechnung von DSGVO-Bußgeldern aus, die bis zu 20 Millionen Euro oder 4 % des weltweiten Jahresumsatzes betragen können (s. Abbildung 1).
• Schadensersatz: Eine fehlende KI-Kompetenz kann sich ebenfalls auf den Verschuldensgrad und damit die Höhe von Schadensersatzansprüchen, die zum Beispiel aufgrund von Datenschutz- oder Urheberrechtsverletzungen gezahlt werden müssen, auswirken.
• Persönliche Haftung der Geschäftsführung: Sorgt die Geschäftsführung nicht für eine ausreichende KI-Kompetenz, dann kann sie wegen unterlassener Schutzmaßnahmen persönlich für die KI-Verstöße der Mitarbeiter haften.

Richtlinien und Schulungen

Um sicherzustellen und nachweisen zu können, dass Mitarbeitende über die nötige KI-Kompetenz verfügen, sollten verpflichtende KI-Richtlinien, Einweisungen und Schulungen implementiert werden. Dabei sorgen KI-Richtlinien, das heißt verbindliche Erläuterungen und Verhaltenspflichten, für eine Basiskompetenz. Inhaltlich sollten die Richtlinien unter anderem Erläuterungen zu KI-Risiken und Regeln zur Freigabe von KI-Tools, Pflichten zur Einhaltung der Gesetze sowie der Kontrolle von Daten und Ergebnissen beinhalten. Zusätzlich zu den Richtlinien sind persönliche Einweisungen in KI-Tools sowie regelmäßige Schulungen zu empfehlen.