- O2R15 KI (Künstliche Intelligenz)

IMS Services Datenschutz

KI (Künstliche Intelligenz)

Der AI-Act ist weltweit das erste Regelwerk für den Einsatz von Künstlicher Intelligenz. Der Einsatz von Künstlicher Intelligenz (KI) wird in Zukunft eine immer größere Rolle spielen, sei es im Arbeitsalltag oder privat zuhause. Um das Vertrauen in die Technologie zu stärken, braucht es klare Regeln.

Der Rat der 27 EU-Mitgliedstaaten hat am 21. Mai 2024 daher den AI-Act und damit einen einheitlichen Rahmen für den Einsatz von Künstlicher Intelligenz in der Europäischen Union verabschiedet. Die KI-Verordnung ist das weltweilt erste umfassende Regelwerk für KI. Mit dem AI-Act hat die EU nun ein starkes Fundament für die Regulierung von Künstlicher Intelligenz, das Vertrauen und Akzeptanz in die Technologie schafft und Innovationen „Made in Europe“ ermöglicht.

Künstliche Intelligenz beschreibt die Fähigkeit von Maschinen, basierend auf Algorithmen Aufgaben autonom auszuführen und dabei die Problemlösungs- und Entscheidungsfähigkeiten des menschlichen Verstandes nachzuahmen.

AI-Act: Strenge Vorgaben bei hohem Risiko

Der AI-Act schreibt vor, dass KI-Anwendungen nicht missbraucht werden dürfen. Ebenso muss der Schutz der Grundrechte gewährleistet sein. Gleichzeitig brauchen Wissenschaft und Wirtschaft Freiraum für Innovationen. Der AI-Act verfolgt hier einen sogenannten risikobasierten Ansatz. Das heißt, je höher das Risiko bei der Anwendung eingeschätzt wird, desto strenger sind auch die Vorgaben.

Ein inakzeptables Risiko stellen zum Beispiel KI-Systeme dar, die eingesetzt werden können, um das Verhalten von Personen gezielt zu beeinflussen und sie so zu manipulieren. Für sie gilt ein Verbot, genauso wie für KI-basiertes „Social-Scoring“, also die Vergabe von Punkten nach erwünschtem Verhalten. Es gibt außerdem eine Transparenzpflicht. Das heißt, künstlich erzeugte oder bearbeitete Inhalte (Audios, Bilder, Videos) müssen eindeutig als solche gekennzeichnet werden.

Hochriskante KI-Systeme, zum Beispiel in den Bereichen kritische Infrastruktur, Beschäftigung sowie Gesundheits- oder Bankenwesen, müssen eine Reihe von Anforderungen erfüllen, um für den EU-Markt zugelassen zu werden. Für Anwendungen mit einem geringen Risiko gelten lediglich eingegrenzte Transparenz- und Informationspflichten.

11 Prinzipien für eine vertrauenswürdige und sichere KI

Die Erklärung der G7 richtet sich an alle Organisationen, die fortgeschrittene KI-Systeme wie generative KI entwickeln. Organisationen sollen bei der Entwicklung Demokratie, Menschenrechte und Rechtsstaatlichkeit achten und keine Systeme schaffen, die diese Werte unterminieren.

Organisationen sollen dabei elf Prinzipen berücksichtigen. Dazu gehören adäquate Risikovorkehrungen schon bei der Entwicklung. Durch entsprechende Maßnahmen soll vermieden werden, dass KI eine Gefahr für die Sicherheit, Gesundheit oder demokratischen Werte einer Gesellschaft werden kann. Der Einsatz soll von regelmäßigen Transparenzberichten begleitet werden, die unter anderem auf Sicherheitsrisiken hinweisen. Zudem sollen KI-generierte Inhalte kenntlich gemacht werden, etwa durch Wasserzeichen. Die G7 rufen Entwickler fortgeschrittener KI-Systeme auch dazu auf, verantwortungsvoll mit Daten umzugehen, persönliche Daten zu schützen und die Urheberrechte zu wahren.

Der von den G7 veröffentlichte Verhaltenskodex soll anhand konkreter Anforderungen weiterentwickelt werden. Ziel ist, dass sich Unternehmen freiwillig zur Anwendung der Prinzipien verpflichten. Der Verhaltenskodex stellt auch eine wichtige Orientierung für die geplante Gesetzgebung in den einzelnen Staaten dar. In Europa arbeitet die EU-Kommission gemeinsam mit den Mitgliedsstaaten und dem Europäischen Parlament derzeit an einer eigenen KI-Verordnung.

KI-EU Verordnung

Die KI-Verordnung folgt einem weitgehend risikobasierten Ansatz. KI-Technologien, darunter auch generative KI, werden demnach in vier verschiedene Risikokategorien eingegliedert, die von „KI-Systemen mit inakzeptablem Risiko“ über „KI-Systemen mit hohem Risiko“ und „KI-Systemen mit Transparenzanforderungen“ bis zu „KI-Systemen mit keinem/niedrigem Risiko“ reichen. Daran werden verschiedene Verbote bzw. Compliance-, Berichts-, Dokumentations-, Sorgfalts- und Informationspflichten gekoppelt.

Das Gesetz stuft u. a. folgende Anwendungsbereiche in die hohe Risikokategorie (sog. Hochrisiko-KI-Systeme) und damit zwar als erlaubt, aber besonderen rechtlichen Anforderungen unterliegend ein:

Systeme, die biometrische Daten verarbeiten
Systeme, die in der kritischen Infrastruktur zum Einsatz kommen
Bewertung von Schülern
Zugangsprüfungen zur Universität
Bewerberauswahl, Beförderungen und Kündigungen im Arbeitsleben
Anspruch auf Sozialhilfe
Prüfung der Kreditwürdigkeit
Risikobewertung und Preisbildung bei Lebens- und Krankenversicherungen
Prognose von Rückfälligkeit bei Straftaten
Einflussmöglichkeit auf Wahlen
Einschätzung von Sicherheitsrisiko, oder eines ausgehenden Gesundheitsrisikos von Einzelnen bei Migration, Asyl sowie Grenzkontrolle.

Darüber hinaus sieht der AI-Act Regeln speziell für leistungsfähige Sprachmodelle vor, vor allem für multimodale Modelle (im AI-Act auch „General Purpose AI“, GPAI genannt) und solche, die besonders hohe Rechenleistungen haben. Darunter fallen bspw. besonders leistungsfähige GenAI-Modelle wie ChatGPT. Diese Sonderregelung, die von der Risikokategorisierung abweicht, ist eine Reaktion auf das schnelle Aufkommen von Generativer KI im Jahr 2023.

Anforderungen

Anbieter von Hochrisiko-KI-Systemen müssen verschiedene Anforderungen erfüllen. Dazu zählt es u. a., ein Risikomanagementsystem einzurichten, Anforderungen an die Datenqualität zu erfüllen und menschliche Aufsicht über die KI sicherzustellen. Ferner müssen sie ein Konformitätsbewertungsverfahren durchführen, um nachzuweisen, dass sie die Anforderungen erfüllen. Ist das Produkt nicht nur Hochrisiko-KI-System, sondern etwa auch Medizinprodukt, sind die Anforderungen an Hochrisiko-KI-Systeme im medizinprodukterechtlichen Konformitätsbewertungsverfahren mitzuprüfen.

Kennzeichnungspflicht

Deepfakes und andere mit generativer KI erstellte Bilder, Videos und Tonaufnahmen müssen entsprechend als solche (maschinenlesbar) gekennzeichnet werden, dies gilt auch für Texte, soweit keine menschliche Redigatur (verständliche Ausführung) erfolgt. Ebenso muss Nutzern stets klar sein, wenn sie mit KI-Systemen interagieren. Mittels der Kennzeichnungs- und Transparenzpflicht soll laut dem österreichischen Rechtswissenschaftler Marlon Possard von der Sigmund Freud Privatuniversität Wien, der sich intensiv mit rechtlichen und ethischen Fragen von Deepfakes im Rahmen der KI-Verordnung (EU) auseinandersetzt, unter anderem eine Risikominimierung von Wahlbeeinflussung erzielt werden.

Verbote

Technologien mit einem inakzeptablen Risiko wie Social-Scoring (Soziale Bewertung, Überwachung) oder Teile von biometrischer Videoüberwachung bzw. Gesichtserkennung sowie automatisierter Emotionserkennung und subtiler Verhaltensbeeinflussung sollen komplett verboten werden. Für Strafverfolgungsbehörden, das Militär und Geheimdienste gibt es jedoch weitreichende Ausnahmen.

Durchsetzung der Verordnung

Der AI-Act selbst droht sehr hohe Bußgelder an, wenn Unternehmen gegen ihn verstoßen. Der Entwurf sieht hier Strafen bis zu 7 Prozent des weltweiten Vorjahresumsatzes oder 35 Millionen Euro vor, dies ist deutlich mehr, als bei DSGVO-Verstößen drohen. Außerdem ist die Schaffung eines Europäischen Ausschusses für künstliche Intelligenz vorgesehen, zur Durchsetzung sollen auf nationaler Ebene Behörden mit der Möglichkeit von Bußgeldern geschaffen werden.

Inkrafttreten

Die Vorgaben des AI-Acts gelten nicht ab sofort nach dem Inkrafttreten. Vielmehr sind Übergangsfristen zwischen 6 und 36 Monaten vorgesehen. Bis dahin setzt die Europäische Kommission auf freiwillige Selbstbeschränkungen der Wirtschaft.

Information zu KI-Programme, Chat GPT und ähnliche Programme (Computerprogramme für künstliche Intelligenz)

Organisationen, die mit einer Komponente wie einem künstlichen neuronalen Netz personenbezogene Daten verarbeiten, erzeugen hohe Risiken für Betroffene. Bei hohem Risiko verlangt die Datenschutz-Grundverordnung (Art. 35 DSGVO) das Durchführen einer Datenschutz-Folgenabschätzung (DSFA). Deshalb müssen im Unternehmen folgende grundlegende Bestimmungen gelten und Informationen bekannt sein.

IMS Services KI-Richtline:

Nutzung von KI-Programme nur nach schriftlicher Genehmigung durch das Unternehmen, mit verbindlichen Vorgaben zur Dateneingabe und Auswertung.
Keine Eingabe von sensiblen Daten (Unternehmensdaten, Personendaten, Gesundheitsdaten) da diese möglicherweise zur Beantwortung von Anfragen Dritter verwendet werden können.
KI-Programme werden außerhalb der EU betrieben, in der Regel in den USA. Für eine Nutzung (u.a. Datenspeicherung) innerhalb der EU, sind entsprechende schriftliche Verträge und Garantien erforderlich.
Bei der Nutzung (Personenbezogene Daten) von KI-Programmen ist immer die EU-DSGVO anzuwenden.
Bei der Nutzung von KI-Programmen ist vor der Nutzung eine Datenschutz-Folgenabschätzung (DSFA) umzusetzen.
Antworten und Auswertung müssen im Rahmen einer Qualitätskontrolle überprüft werden.
TOM´s (Technische und organisatorische Maßnahmen) sind ggf. anzupassen. Diese betreffen zum Beispiel die Zugangsbeschränkungen und Sicherheitsrichtlinien.

Beschäftigte im Unternehmen und Nutzer (Kunden) müssen über die KI-Richtline informiert werden. Ein schriftlicher Nachweis wird dringend empfohlen.

Informationsinhalte zu KI-Anwendungen

Beschäftigte, Kunden, Nutzer

Inhalte:

Verantwortlich für die KI-Anwendung
Ansprechstelle des Verantwortlichen
Welche KI-Anwendungen werden eingesetzt (Bezeichnung)
Welche Daten werden verarbeitet (Bezeichnung, Verfahren)
Wo werden die Daten gespeichert (EU=DSGVO; Nicht EU=Garantien, Abkommen)
Wie lange werden die Daten gespeichert
Gibt es Auswahlmöglichkeiten der Nutzung (Nutzung Ja, Nein)
Welche Rechte hat der Anwender, Nutzer
Beschwerdestelle (Angaben)

Künstliche Intelligenz im Sinne der KI-Verordnung?

Die KI-Verordnung legt in Abgrenzung zu einfacheren herkömmlichen Softwaresystemen zwei wesentliche Definitionen rund um Künstliche Intelligenz zugrunde:

Ein KI-System ist ein maschinengestütztes System,

dass für einen in unterschiedlicher Grade autonomen Betrieb ausgelegt ist und
dass nach seiner Betriebsaufnahme anpassungsfähig sein kann und
dass aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können.

Ein KI-Modell mit allgemeinem Verwendungszweck ist ein KI-Modell,

dass eine erhebliche allgemeine Verwendbarkeit aufweist und
dass in der Lage ist, ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen und
dass in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann

Diese Definition betrifft unter anderem große Sprachmodelle, beispielsweise solche, auf denen Anwendungen wie ChatGPT basieren.

Ist der AI-Act bereits voll anwendbar?

Die KI-Verordnung ist am 1. August 2024 in Kraft getreten. Verbote und Verpflichtungen erlangen nun schrittweise Gültigkeit:

nach sechs Monaten (2. Februar 2025): KI-Systeme mit inakzeptablem Risiko sind verboten; Anbieter und Betreiber von KI-Systemen stellen ausreichendes Maß an KI-Kompetenz bei Nutzenden sicher
nach zwölf Monaten (2. August 2025): Governance-Regeln und die Verpflichtungen für KI-Modelle mit allgemeinem Verwendungszweck werden wirksam
nach 24 Monaten (2. August 2026): Der Großteil der Regelungen wird wirksam, etwa für Hochrisiko KI-Systeme nach Annex III
nach 36 Monaten (2. August 2027): Vorschriften für Hochrisiko-KI-Systeme greifen, die über sektorale Harmonisierungsvorschriften von der Regulierung betroffen sind

Die private Nutzung oder der Betrieb von KI-Anwendungen ausschließlich zu persönlichen Zwecken fällt nicht unter die KI-Verordnung. Im Rahmen Ihrer beruflichen Tätigkeit kann der AI-Act aber durchaus relevant sein. Insbesondere Unternehmen empfehlen wir, sich einen soliden Überblick über den KI-Einsatz zu verschaffen und zu prüfen, ob der Gesetzgeber Ihnen Pflichten auferlegt.

KI-Prüfung im Unternehmen

Schritt 1

Wo kommt KI in Ihrem Unternehmen bereits zum Einsatz und wo ist ein Einsatz geplant?

Verschaffen Sie sich einen möglichst vollständigen Überblick, je nach Größe der Organisation durch Einbindung der IT- sowie weiterer Abteilungen (z. B. Produktentwicklung, F&E, Datenschutz) oder durch Befragung von Mitarbeitenden. Rechnen Sie damit, dass perspektivisch weitere KI-gestützte Tools in Ihre Organisation Einzug halten werden und Sie auf dem Laufenden bleiben müssen. Größere Organisationen behalten den Überblick beispielsweise durch Übersichten im Intranet, jede KI-Anwendung und jeder angestoßene KI-Use-Case wird bereits bei der Bewilligung des entsprechenden Budgets registriert und dann konstant aktualisiert. Im einfachsten Fall hilft Ihnen aber eine tabellarische Übersicht weiter. Markieren Sie bereits in diesem Schritt alle Einsatzgebiete, die mit einem Risiko für die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen verbunden sein könnten.

Schritt 2

Klären Sie Ihre Rolle bei der jeweiligen KI-Anwendung in Ihrem Unternehmen.

Sie haben nun einen Überblick über die KI-Anwendungen in Ihrem Unternehmen. Wir gehen davon aus, dass Ihr Unternehmen seinen Sitz in der EU hat oder der Output Ihrer KI-Anwendungen in der EU verwendet wird. Abhängig von Ihrer Rolle bei der jeweiligen KI-Anwendung unterscheiden sich nun die Pflichten aus dem AI-Act.

Anbieter von KI-Systemen oder KI-Modellen mit allgemeinem Verwendungszweck werden beispielsweise anders in die Verantwortung genommen als Betreiber. Der AI-Act definiert auch weitere Rollen. Für die meisten Unternehmen wird vor allem die Unterscheidung in Anbieter und Betreiber relevant sein. Klären Sie für KI-Anwendungen in Ihrem Verantwortungsbereich, welche Rolle Sie jeweils einnehmen.

Anbieter

Wer ein KI-System entwickelt / entwickeln lässt und es unter eigenem Namen oder eigener Handelsmarke in der EU in Verkehr bringt oder in Betrieb nimmt.

Betreiber

Wer ein KI-System in eigener Verantwortung gewerblich in der EU verwendet. Einen Hinweis darauf, dass die entsprechende Rolle Anbieter lauten könnte, geben Ihnen die folgenden Fragen:

Ist ein KI-System in der EU in Verkehr gebracht oder in Betrieb genommen worden?
Trägt es Ihren Namen oder Ihr Markenzeichen?
Ist es von Ihnen wesentlich geändert worden?
Ist es vom ursprünglichen Verwendungszweck her modifiziert worden, d. h., Sie haben die Zweckbestimmung verändert

Beachten Sie bitte, dass es hier auf den Einzelfall ankommt und dass der AI-Act besondere Anforderungen an Anbieter von KI-Systemen (und KI-Modellen mit allgemeinem Verwendungszweck) stellt. Dieser Text stellt keine Rechtsberatung dar. Holen Sie sich daher kompetenten, juristischen Rat ein.

Schritt 3

Prüfen Sie die Risikokategorie der jeweiligen KI-Anwendung.

Die KI-Verordnung ordnet KI-Anwendungen Risikokategorien zu. Anwendungen, die ein inakzeptables Risiko darstellen, zählen zu den verbotenen Praktiken im KI-Bereich. Hierunter fallen KI-Systeme mit absichtlich manipulativen oder täuschenden Techniken oder solche, die die Schutzbedürftigkeit von Personen ausnutzen. Auch Social-Scoring-Systeme, wie sie in China im Einsatz sind, sind in der EU nicht erlaubt. Zum 1. Februar 2025 sind diese Systeme verboten und müssen spätestens dann vom Markt genommen werden. Übliche KI-Anwendungen, die in Unternehmen genutzt werden, fallen in eine der folgenden Kategorien:

A) KI-Anwendungen ohne oder mit geringem Risiko

Die allermeisten KI-Anwendungen, die aktuell im Einsatz sind, sind mit keinem oder nur mit minimalem Risiko verbunden. Weder Anbietern noch Betreibern dieser KI-Anwendungen werden strikte Pflichten auferlegt. Beispiele in diesem Bereich sind KI-gestützte Videospiele. Beachten Sie aber, dass Anbieter und Betreiber von KI-Systemen angehalten sind, ein ausreichendes Maß an KI-Kompetenz bei den Nutzenden der Tools, also beispielsweise bei Ihren Mitarbeitenden, sicherzustellen.

B) KI-Anwendungen mit überschaubarem Risiko (Transparenzrisiko)

KI-Systeme, die kein erhebliches Risiko für die Gesundheit, Sicherheit oder Grundrechte darstellen, können dennoch einem überschaubaren Risiko unterliegen. Dieses wird teilweise als Transparenzrisiko bezeichnet, denn die auferlegten Pflichten umfassen hauptsächlich eine transparente Offenlegung, wo KI im Einsatz ist oder war. In diese Kategorie fallen z. B.: Spamfilter, Chatbots und KI-generierte Bild- oder Video-Inhalte.

C) KI-Anwendungen mit hohem Risiko

Zu dieser Kategorie gehören KI-Systeme, die in mindestens einem der folgenden Bereiche genutzt werden:

Biometrik
Kritische Infrastruktur
Allgemeine und berufliche Bildung
Beschäftigung, Arbeitnehmermanagement und Zugang zur Selbstständigkeit
Zugang zu und Inanspruchnahme von wesentlichen privaten Dienstleistungen und
wesentlichen öffentlichen Diensten und Leistungen
Strafverfolgung
Migrations-, Asyl- und Grenzkontrollmanagement
Rechtspflege und demokratische Prozesse

Information

Für eine verlässliche Einordnung, insbesondere im Bereich der Hochrisiko-KI-Systeme, empfiehlt sich eine Rechtsberatung. Denn auch hier gibt es zahlreiche Besonderheiten: Der AI-Act sieht beispielsweise vor, dass nicht alle KI-Systeme in den genannten Bereichen als hochriskant eingeordnet werden müssen, wenn sie nur eine eng gefasste Verfahrensaufgabe oder eine vorbereitende Aufgabe durchführen. Andererseits liegt ein Hochrisiko-KI-System auch dann vor, wenn es ein Produkt oder ein Sicherheitsbauteil eines Produktes ist, das sektoralen Harmonisierungsvorschriften der EU unterliegt. Ein Beispiel hierfür ist die Sicherheit von Spielzeug oder auch Medizinprodukten.

Schritt 4

Erfüllung der gesetzlichen Vorgaben.

Welche Anforderungen aus dem AI-Act kommen also auf Ihr Unternehmen zu? Unterliegen die von Ihnen genutzten KI-Anwendungen keinem bis ein überschaubares Risiko, gibt es nur wenige Anforderungen, unabhängig davon, ob Sie Anbieter oder Betreiber sind:

Tragen Sie bei den KI-Anwendungen in Ihrem Verantwortungsbereich dazu bei, dass Nutzende über ein ausreichendes Maß an KI-Kompetenz verfügen.
Informieren Sie darüber, wo KI-Systeme im Einsatz sind, vor allem bei KI-Systemen, die für die direkte Interaktion mit Personen bestimmt sind.
Sollten Sie Betreiber eines Emotionserkennungssystems oder eines Systems zur biometrischen Kategorisierung sein, informieren Sie Personen über den Betrieb und die Verarbeitung der personenbezogenen Daten.
Kennzeichnen Sie konsequent künstlich erzeugte oder manipulierte Inhalte (mit Ausnahmen wie Satire, Kunst etc.).

Fällt eine oder mehrere Ihrer KI-Anwendungen unter die Hochrisiko-Kategorie, sind abhängig von der Nutzung der Anwendung und Ihrer jeweiligen Rolle weitere Anforderungen zu erfüllen.

Höhere Anforderungen betreffen in der Regel Anbieter von KI-Systemen und KI-Modellen mit allgemeinem Verwendungszweck.

Als Betreiber werden Sie im Wesentlichen verpflichtet, die KI-Systeme nach Betriebsanleitung zu nutzen, den Betrieb angemessen zu überwachen und beispielsweise bei einem gestiegenen Risiko die Tools auch abzuschalten oder zu melden. Als Anbieter von KI-Systemen müssen Sie organisatorische und technische Anforderungen zur Risikominimierung erfüllen. Ihre Pflichten umfassen beispielsweise die Implementierung von:

Risikomanagementsystemen
Data-Governance (Interne Standards, Datenrichtlinien)
Technischen Dokumentationen
Aufzeichnungspflichten
Transparenz für Betreiber
Menschlicher Aufsicht
Genauigkeit, Robustheit und Cybersicherheit
Qualitätsmanagementsystemen

Als Anbieter von KI-Modellen mit allgemeinem Verwendungszweck (Englisch: General Purpose Artificial Intelligence GPAI) werden Ihnen unter anderem vorrangig Informationspflichten auferlegt, z. B. eine technische Dokumentation und die Bereitstellung von Informationen an Anbieter. Werden die Modelle in KI-Systemen nachgelagerter Anbieter integriert, so müssen diese in die Lage versetzt werden, ihren eigenen Pflichten aus der KI-Verordnung nachzukommen.

Außerdem müssen Sie im Kontext Ihrer KI-Modelle eine Strategie zur Einhaltung des Urheberrechts der EU und weiterer Schutzrechte haben. Als Anbieter eines KI-Systems, das ein inakzeptables Risiko darstellt (Verbotene Praktiken), müssen Sie dieses vom europäischen Markt nehmen.

IMS Services hat hierzu ein Erfassungsformular KI (Arbeitsprogramm KI) bereitgestellt (Download siehe unten). Die Umsetzung des Formulars stellt keine Rechtsberatung dar. Holen Sie sich daher bei Bedarf kompetenten, juristischen Rat ein.

Kontaktformular

Suche

Externe Inhalte