Künstliche Intelligenz bringe laut Julia Wiens von der Bafin nicht nur Möglichkeiten zur Optimierung von Prozessen und der Entwicklung von Produkten mit sich. Es entstünden auch erhebliche Risiken.
„Einfach übernehmen darf man Inhalte generativer KI nicht“, sagte sie bei einer Rede beim Institut für Versicherungslehre an der Universität Leipzig und verwies darauf, dass Sie den Versuch startete, ihre Rede von einer KI schreiben zu lassen: „Wirklich schlecht war das Ergebnis auch nicht. Und genau darin liegt ja die Crux dieser Systeme. Sie bieten großartige Möglichkeiten. Man muss sich jedoch der Risiken bewusst sein, die man in Kauf nimmt, wenn man sie nutzt. Das gilt natürlich erst recht für die Unternehmen der Versicherungsbranche.“
Regulatorik und Ethik
Diese müssen laut Wiens sicherstellen, dass ihre KI-Modelle nachvollziehbar und transparent sind. Dazu gehört auch, regelmäßig zu überprüfen, ob die verwendeten Daten repräsentativ und von hoher Qualität sind und ob die Systeme unter menschlicher Aufsicht bleiben, sodass in den Entscheidungsprozess eingegriffen werden kann. Nur mit einer solchen Governance können Unternehmen sicherstellen, dass sie sowohl den regulatorischen Anforderungen als auch den ethischen Standards gerecht werden.
KI-Systeme folgen schließlich keiner neutralen Logik, die Qualität der Trainingsdaten sei beispielsweise entscheidend dafür, ob Diskriminierung und Ungerechtigkeit entstünden. Sind bestimmte Kundengruppen in den Datensätzen unterrepräsentiert, kann das zu falschen Bewertungen führen. „Sie können für einige Menschen den Zugang zu Finanzprodukten und -dienstleistungen erschweren. Oder gar unmöglich machen. Und zwar ohne, dass dies gerechtfertigt wäre“, sagt Wiens. Der Einsatz von generativer KI, die auch falsche Informationen produzieren kann, verstärke dieses Problem in ihren Augen, da diese Modelle häufig intransparent sind und eine klare Verantwortung schwer zuzuordnen seien.
Bei generativer Künstlicher Intelligenz bestehe aber nicht nur das Risiko, dass die Modelle halluzinieren, sie also Falschinformationen herausgeben, die fachfremde Nutzerinnen und Nutzer für wahr halten. Auch würden Versicherer diese Modelle aufgrund ihrer Komplexität häufig nur noch von externen Anbietern beziehen. daduch entstünden Abhängigkeiten und gegebenenfalls auch Know-how-Defizite.
Die Exekutivdirektorin der Versicherungs- und Pensionsfondsaufsicht der Bafin verweist auf die europäische KI-Verordnung (AI Act), die im August 2024 beschlossen wurde und die Nutzung von KI in der EU regelt. Wiens unterstich, dass es für Versicherungsunternehmen insbesondere bei der Anwendung von KI für Risikobewertungen und Preisbildung in der Lebens- und Krankenversicherung hohe Anforderungen gibt.
Die Verordnung unterscheidet dabei zwischen Systemen mit geringem und mittlerem Risiko und solchen, die eine Bedrohung für grundlegende Rechte darstellen. Unternehmen müssen sich auf diese regulatorischen Vorgaben vorbereiten, da diese ab dem 2. August 2026 gelten.
„Die Bafin wird mit hoher Wahrscheinlichkeit den Einsatz von Hochrisiko-KI-Systemen bei Banken und Versicherungen überwachen. Sofern die genutzte Künstliche Intelligenz in direktem Zusammenhang mit der Erbringung einer erlaubnispflichtigen Finanzdienstleistung steht. Darauf bereiten wir uns in diesem Jahr sehr intensiv vor “, sagt Wiens.
Governance ist klare Verantwortung der Unternehmen
Sie verweist darauf, dass die Bafin derzeit gemeinsam mit der Eiopa daran arbeite, noch offene Aspekte der KI-Verordnung zu klären. Auch dabei geht es um Hochrisiko-Systeme – und, darüber hinaus, um die Einordnung von KI-Systemen in die bestehende Regulierung wie Solvency II. Für KI-Systeme gelten schließlich die gleichen Regeln, wie für andere IT Systeme.
„Ein Aspekt ist mir mit Blick auf KI ganz grundsätzlich wichtig: Nämlich, dass Unternehmen, wenn sie KI einsetzen, eine adäquate Governance haben. Und dass sie diese Governance, wo das notwendig ist, auch weiterentwickeln und anpassen. Diese Governance muss alle aufsichtlich relevanten Risiken erfassen. Und sie muss alle einschlägigen gesetzlichen und regulatorischen Vorgaben beinhalten. Das ist die klare Verantwortung der Unternehmen. “
Auch beim Thema Transparenz stünde man noch am Anfang. „Auch als Aufsicht haben wir hier noch sehr viele Fragen. Fragen, über die wir mit anderen Aufsichtsbehörden, mit der Wissenschaft und natürlich auch mit den beaufsichtigten Unternehmen diskutieren. Denn wir sind nicht die einzigen, die Antworten auf diese Fragen finden müssen“, sagt Wiens.
Zudem warnt Wiens vor den Risiken des Quantencomputings. Diese könnten die Möglichkeiten von KI erheblich erweitern, gleichzeitig aber auch die Datensicherheit gefährden. Grund: Quantencomputer könnten in der Lage sein, bestehende Verschlüsselungsmethoden zu überwinden. Das wird die Datensicherheit in der Finanzindustrie massiv bedrohen. „Diese Gefahr ist schon heute relevant. Denn schon heute können Kriminelle Daten klauen und speichern, um sie später zu entschlüsseln. Vor dieser „Harvest Now, Decrypt Later“-Methode warnt auch das BSI, das Bundesamt für Sicherheit in der Informationstechnik“, so Wiens.
Sie fordert Unternehmen dazu auf, sich schon jetzt auf die möglichen Herausforderungen des Quantencomputings vorzubereiten und Schutzmaßnahmen zu entwickeln, um auch in Zukunft die Sicherheit sensibler Daten gewährleisten zu können.
Für Wiens steht fest, dass Künstliche Intelligenz auch die Arbeit der Bafin erleichtern, verbessern und beschleunigen kann. Sie verweist auf Kollegen der Wertpapieraufsicht, die seit mehreren Jahren KI-Technologien nutzen, um Marktmanipulationen zu erkennen. Der Mensch müsse aber immer die Kontrolle behalten.
„Es ist doch ganz egal, ob wir Künstliche Intelligenz, Quantencomputer oder irgendein anderes fortschrittliches System nutzen – es gilt stets: Auch die beste Technologie entlässt uns nicht aus der Verantwortung. Was wir daraus machen, das liegt an uns – den Menschen“, beendete Wiens ihre Rede