KI ist allgegenwärtig. Chatbots, text- und bildgenerierende Programme, smarte Assistenten, spezielle Analysetools, intelligente Compliance-Lösungen kommen auch in der Vermögensverwaltung zum Einsatz. Sie helfen, große Datenmengen zu prüfen, Muster zu erkennen und Trends zu bewerten.
Häufig handelt es sich um Upgrades, wenn bestehende Cloudlösungen (zum Beispiel für Marktdaten oder für Risikomanagement) anbieterseitig um KI-Komponenten ergänzt werden. Bisweilen handelt es sich aber auch um komplett neue Tools, die eingekauft und implementiert werden, insbesondere bei der Automatisierung operativer Prozesse. Und in vereinzelten Fällen entwickeln Wertpapierunternehmen auch eigene KI-Lösungen wie beispielsweise Robo-Advisor.
All diese Anwendungsfälle haben eines gemeinsam: Sie fallen in den Anwendungsbereich des „AI-Act“, also der am 1. August 2024 in Kraft getretenen europäischen KI-Verordnung. Kernanliegen der Verordnung ist die Schaffung eines europaweit einheitlichen Rechtsrahmens für KI, der insbesondere das Vertrauen in die Technologie stärken und Risiken für Anwender und Endkunden adressieren soll. Sie betrifft nicht nur die Entwicklung hochkomplexer KI-Modelle, sondern auch den Alltagsgebrauch von KI-Tools in Unternehmen und Behörden.
Was ist ein KI-System?
Der Anwendungsbereich der KI-Verordnung ist eröffnet, sobald ein sogenanntes KI-System in einem Unternehmen zum Einsatz kommt. Dabei handelt es sich um Software, die wenigstens in gewissem Umfang autonom und anpassungsfähig arbeitet und aus erhaltenem Daten-Input bestimmten Output wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen ableiten kann. Der Begriff ist damit sehr weit gefasst und schließt nicht lediglich die Entwicklung oder den Einsatz aufwändiger Systeme wie Large Language Models (LLM), sondern auch bereits seit Langem bekannte Programme wie smarte Übersetzungssoftware, Sprachassistenten oder Chatbots ein.
Praxisbeispiele:
- Chatbots: Automatisierte Bearbeitung von Standardanfragen und Terminvereinbarungen.
- Automatisierte Portfoliosteuerung: Tools, die selbstständig Märkte scannen oder Handelssignale geben.
- Dokumentenprüfung und Compliance-Tools: Auslesen, Verarbeiten und Bewerten von Beraterprotokollen oder Vertragsbedingungen durch KI; automatisierte Meldeprozesse.
- Robo Portfolio Manager: Automatisierte Vermögensverwaltung (laufende Auswertung von Marktdaten, laufender Abgleich mit dem Anlegerprofil und der Anlagestrategie, selbständiger Handel)
Risikokategorien
Die KI-Verordnung teilt Systeme in verschiedene Risikogruppen ein.
1. Kategorie: Verbotene Praktiken
KI-Systeme, von denen unannehmbare Risiken ausgehen, sind als verbotene Praktiken gänzlich untersagt und dürfen in der EU nicht eingesetzt werden. Beispiele für verbotene Praktiken: „Social Scoring“, biometrische Echtzeit-Fernidentifizierungssysteme, manipulative oder täuschende Techniken.
2. Kategorie: Hochrisiko-KI-System
Hiervon abzugrenzen sind sogenannte „Hochrisiko-KI-Systeme“. Hochrisiko-KI-Systeme sind nicht per se verboten. Ihr Einsatz ist aber an strenge rechtliche Vorgaben geknüpft.
Nach dem europäischen Regulator handelt es sich hierbei um Software, die erhebliche Risiken für die Gesundheit, Sicherheit oder Grundrechte der Unionsbürger mit sich bringen kann. Als Hochrisiko-Bereiche nennt die KI-Verordnung zum Beispiel kritische Infrastruktur, Arbeitsverhältnisse und Personalmanagement, Strafverfolgung sowie den Zugang zu grundlegenden privaten und öffentlichen Diensten und Leistungen.
In der Finanzwirtschaft sind insbesondere die Kreditwürdigkeitsprüfung und die Bonitätsbewertung dem Hochrisiko-Bereich zuzuordnen. Andere Finanzdienstleistungen gelten meist nicht als Hochrisiko-KI.
Achtung: Es gibt mittlerweile diverse KI-Tools, die von der Personalabteilung beim Recruiting eingesetzt werden können. Die angebotenen Leistungen gehen von der automatisierten Erstellung von Stellenanzeigen über eine KI-gestützte Auswertung des Stellenmarktes bis hin zum Einsatz von Chatbots in der Bewerberkommunikation. Sogar die Auswertung von Bewerbungen ist möglich; dabei wird nicht nur die Konformität mit dem Stellenprofil geprüft, sondern es können auch KI-gestützte Prognosen zur erwarteten Entwicklung, zur Teamfähigkeit des Bewerbers und zu seiner wahrscheinlichen Verweildauer im Unternehmen generiert werden (predictive analytics). Derartige Anwendungen sind dem Hochrisiko-Bereich zuzuordnen.
3./4. Kategorie: KI mit geringem oder keinem Risiko
Fällt ein Tool weder unter die verbotenen Praktiken noch unter die Definition als Hochrisiko-KI-System, ist sein Einsatz mit deutlich reduzierten regulatorischen Vorgaben möglich. Allerdings ist stets dafür Sorge zu tragen, dass Angestellte und beauftragte Dritte, die solche KI-Systeme nutzen, über ausreichende „KI-Kompetenz“ verfügen, also bezogen auf den konkreten Einsatz geschult und laufend fortgebildet werden. Ferner bestehen Transparenzpflichten, insbesondere bei unmittelbarer Interaktion zwischen KI-System und externen natürlichen Personen (zu denken ist hier beispielsweise an Chatbots).
Aus der dargelegten Risikokategorisierung ergeben sich folgende Prüfungsschritte:
- Verbotene Praktiken? Dann darf das Tool nicht zum Einsatz kommen.
- Hochrisiko-KI? Dann müssen gesteigerte Compliance-Pflichten berücksichtigt werden.
- KI mit geringem oder keinem Risiko? Reduziertes Pflichtenheft nach KI-Verordnung.
Wichtig: Bei der Risikokategorisierung ist nicht die ursprüngliche Zweckbestimmung eines Programms maßgeblich, sondern sein konkreter Einsatz beim Nutzer. Dies liegt darin begründet, dass viele – gerade die größten – KI-Systeme nicht für eine einzige Anwendung bestimmt sind, sondern für vielfältige Zwecke eingesetzt werden können.
Anbieter oder Betreiber?
Neben der Risikokategorisierung ist auch die Rolle des Verwenders wichtig. Die KI-Verordnung unterscheidet hier insbesondere zwischen „Betreibern“ und „Anbietern“. Im Normalfall nutzen Vermögensverwalter fremdentwickelte KI-Tools als Lizenznehmer (Kauf oder Abonnement); sie sind dann Betreiber im Sinne der KI-Verordnung. Falls Vermögensverwalter im Einzelfall einmal eine selbst entwickelte Lösung nutzen, sind sie hingegen als Anbieter einzustufen.
Die Unterscheidung ist wichtig wegen der daran anknüpfenden regulatorischen Vorgaben der KI-Verordnung: Ein bloßer Betreiber hat einen deutlich schmaleren Pflichtenkatalog als ein Anbieter. So treffen den Anbieter zusätzliche Dokumentationspflichten, außerdem muss er sich und sein KI-System bei der zuständigen Aufsichtsbehörde registrieren lassen. Zuständige Aufsichtsbehörde in Deutschland ist je nach Einsatzgebiet der KI-Software entweder die Bundesnetzagentur oder die BaFin.
Hinweis: Vermögensverwalter sollten darauf achten, möglichst als Betreiber und nicht als Anbieter zu fungieren. Hierbei ist zu beachten, dass die Grenze zum regulatorisch anspruchsvolleren „Anbieten“ recht schnell überschritten werden kann. Nicht nur das eigenständige Selbstentwickeln von KI-Software, sondern auch das Mitentwickeln, das maßgeschneiderte Entwickeln-Lassen, das individuelle Anpassen der KI-Software und sogar die unveränderte Nutzung fremder Lösungen unter Verwendung der eigenen Marke (White-Labeling) können die unerwünschte Rolle des Anbieters begründen.
Wie sieht der Pflichtenkatalog aus?
Der konkrete Pflichtenkatalog eines Unternehmens muss in jedem Einzelfall bestimmt werden. Als grobe Orientierung lassen sich folgende Aussagen treffen:
- Jeder Verwender von KI-Systemen muss seine Mitarbeiter und etwa eingebundene externe Dienstleister angemessen schulen.
- Wer ein KI-System mit externen natürlichen Personen (Kunden) interagieren lässt, muss transparent darauf hinweisen.
- Wer nicht nur Betreiber, sondern Anbieter ist, hat Registrierungs- und Dokumentationspflichten.
- Wer ein Hochrisiko-KI-System betreibt, hat vorab eine Grundrechte-Folgenabschätzung durchzuführen und danach für ein Compliance-System zu sorgen, das klare Nutzungsanweisungen und Regelungen zur Eingabekontrolle, zur menschlichen Aufsicht und zum Monitoring umfasst.
- Wer ein solches Hochrisiko-KI-System nicht nur betreibt, sondern sogar anbietet, muss zusätzlich ein Risikomanagementsystem und ein Qualitätsmanagementsystem einrichten und darüber hinaus zahlreiche weitere Compliance-Pflichten erfüllen.
Ab wann gelten die Vorgaben der KI-Verordnung?
Die Vorgaben der KI-Verordnung werden schrittweise „scharfgeschaltet“. Das Verbot unzulässiger Praktiken und die Schulungspflicht zur Sicherstellung von KI-Kompetenz in der eigenen Organisation sind bereits seit dem 2. Februar 2025 zu beachten. Die meisten zusätzlichen Pflichten insbesondere im Zusammenhang mit Hochrisiko-KI müssen demgegenüber erst ab dem 2. August 2026 eingehalten werden. Dennoch sollte jeder Vermögensverwalter schon jetzt prüfen, ob er Hochrisiko-KI verwendet oder verwenden möchte, um rechtzeitig die erforderlichen Prozesse aufsetzen zu können.
Handlungsempfehlungen:
- Inventarisieren Sie alle KI-basierten Tools und Softwarelösungen mit KI-Komponenten in Ihrem Unternehmen.
- Prüfen und kategorisieren Sie die Risiken aller eingesetzten KI-Systeme.
- Bestimmen Sie, ob Sie Betreiber oder Anbieter sind.
- Richten Sie die vorgeschriebene Compliance-Struktur für Ihr Unternehmen ein.
- Setzen Sie Prozesse für die Konzeption und Implementierung neuer KI-Systeme oder für die Änderung bereits implementierter KI-Systeme auf.
- Setzen Sie Prozesse für ein regelmäßiges Monitoring auf, um Veränderungen im Bestand oder Veränderungen in den rechtlichen Rahmenbedingungen zu erfassen.
Wie sich aus den Handlungsempfehlungen ergibt, ist die Entwicklung eines umfassenden KI-Konzepts sinnvoll. Wegen der aufsichtsrechtlichen Wechselwirkungen sollte das KI-Konzept nicht nur mit dem Compliance-Beauftragten, sondern auch mit folgenden internen Funktionsträgern abgestimmt werden: Datenschutzbeauftragter, IT-Sicherheitsbeauftragter, Auslagerungsbeauftragter.
Viele Unternehmen entscheiden sich zudem, einen KI-Beauftragten zu ernennen. Eine Doppelfunktion, beispielsweise als KI-Beauftragter und Datenschutzbeauftragter, ist dabei zulässig und kann dazu beitragen, dass vorhandene Strukturen aus der DSGVO-Compliance für die Compliance mit der KI-Verordnung genutzt und erweitert werden können.
Über die Autoren:
Rechtsanwalt Jan Knappe ist Fachanwalt für Handels- und Gesellschaftsrecht sowie Partner bei der Wirtschaftskanzlei DRRP Rechtsanwälte in München. Er berät zahlreiche Banken und Finanzdienstleister zu regulatorischen und Datenschutz-Themen und schult deren Mitarbeiter.
Rechtsanwalt Maximilian Herrmann ist Counsel bei DRRP Rechtsanwälte und berät in allen wirtschaftsrechtlichen und regulatorischen Belangen, darunter auch Fragen des IT- und KI-Rechts.