38C3

Gemeinwohlorientierte Forschung mit KI: Missbrauch eindämmen durch Zweckbindung für KI-Modelle
2024-12-28 , Saal ZIGZAG
Language: Deutsch

Trainierte KI-Modelle sind mächtige Werkzeuge, die in Wissenschaft und Forschung oft für gute Zwecke gebaut werden. Aber wie alle Werkzeuge können sie auch zweckentfremdet werden – in Bereichen, für die sie nicht gedacht waren, in denen sie profitgierigen Interessen dienen und gesellschaftlichen Schaden anrichten. Vor dem Hintergrund des Trends von "open source" AI ist die Gefahr der unkontrollierten Zweckentfremdung von KI-Modellen enorm gestiegen. Wir zeigen: Das Risiko einer missbräuchlichen Sekundärnutzung von für Forschungszwecke trainierten KIs ist aktuell die größte regulatorische Lücke, trotz DSGVO und AI-Act. Zugleich ermöglicht das Zweckentfremden von Modellen die immer weiter wachsende Machtposition von Big Tech. Um das Problem zu bekämpfen, muss das Prinzip "Zweckbindung" für das Zeitalter der KI geupdated werden.


Skandale wie die Weitergabe von Forschungsdaten der UK Biobank an Versicherungsunternehmen zeigen ein typisches, aber oft übersehenes Risiko im Zusammenhang mit KI: Modelle und Trainingsdaten, die eigentlich dem Gemeinwohl dienen sollten, werden im Schatten der öffentlichen Aufmerksamkeit, jedoch ohne geltendes Recht zu verletzen, für diskriminierende, manipulative und profitorientierte Zwecke zweitverwendet. Wer etwa in der medizinischen Forschung ein Modell zur Erkennung von psychischen Krankheiten anhand von Audiodaten (Stimmaufzeichnung) baut, kann dieses Modell auch außerhalb des medizinischen Kontexts auf beliebige Individuen anwenden – und zum Beispiel bei Video-Bewerbungsgesprächen ein automatisiertes Risiko Scoring damit machen (unsere Beispiele zeigen, dass daran gerade großes Interesse besteht). Der Besitz trainierter KI-Modelle stellt eine enorme Konzentration von Informationsmacht dar – und mit dieser Macht geht ein Missbrauchspotenzial einher, wenn die Tools z.B. in einen kommerziellen Kontext übertragen werden.
Zum Schutz unserer Gesellschaft vor Missbrauch KI-basierter Forschung müssen wir deshalb die Zirkulation trainierter KI-Modelle und anonymisierter Trainingsdaten unter demokratische Kontrolle stellen. Wir brauchen ein Regulierungskonzept, das offene Forschungszwecke ermöglicht und gleichzeitig kommerziellen Missbrauch verhindert. Modelle mit allgemeinem Verwendungszweck wie sie die KI-VO legitimiert, sollte es nicht geben. Als Lösung holen wir das alte, bei der Industrie verhasste und in der Politik fast schon vergessene Datenschutzprinzip der Zweckbindung aus der Mottenkiste und aktualisieren es für die Kontrolle von KI.
Unser Regulierungsvorschlag einer "Zweckbindung für KI-Modelle" beruht auf unserer mehrjährigen interdisziplinären Forschung zwischen Ethik, Rechtswissenschaft und Informatik.

Rainer Mühlhoff, Philosoph und Mathematiker, ist Professor für Ethik der Künstlichen Intelligenz an der Universität Osnabrück. Er ist außerdem assoziierter Forscher am Einstein Center Digital Future, Berlin, und am Weizenbaum-Institut für die vernetzte Gesellschaft, Berlin. Er forscht zu Ethik, Datenschutz und kritischer Sozialtheorie in der digitalen Gesellschaft. Mit seinen systemischen Analysen von KI-Kapitalismus und seinen Vorschlägen zur Schärfung des Datenschutzes bespielt er zahlreiche außerwissenschaftliche Transferformate und ist regelmäßiger Gast in Politik, Bildungsarbeit und öffentlichen Foren. In seiner Forschung analysiert er KI-Systeme als soziotechnische Systeme ("Human-Aided AI"), hat den Begriff "Predictive Privacy" geprägt und tritt für eine Zweckbindung für KI-Modelle ein.

In seinem früheren Leben hat Rainer Mathematik/Physik/Informatik studiert und zu Quantenphysik gearbeitet. Durch ein Zweitstudium in Philosophie und Gender Studies ist er dann in den kritischen Geisteswissenschaften gelandet. Sein interdisziplinäres Team der Forschungsgruppe Ethics and Critical Theories of AI an der Uni Osnabrück bringt Philosophie, Medienwissenschaft und Informatik zusammen, um das Wechselspiel von Technologie, Macht und gesellschaftlicher Veränderung zu untersuchen. [Publikationen]

Rainers Talk auf dem 37C3: KI – Macht – Ungleichheit

This speaker also appears in:

Ich bin Juniorprofessorin für öffentliches Recht, Datenschutzrecht und Recht der Digitalisierung. In meiner Forschung befasse ich mich mit der Regulierung datenintensiver Technologien, Datenschutz im Grundrechtskontext, dem überbordenden Einsatz von Überwachungstechnologien durch staatliche Akteure und normativen Dimensionen von Datenmacht und Nachhaltigkeitsfragen der Digitalisierung.
Mit dem Porjekt OZUG- offener Zugang zum Grundgesetz setze ich mich für einen freieren Zugang zu rechtswissenschaftlichem Wissen ein.