Wie die EU mit Künstlicher Intelligenz ihre Grenzen schützen will

Die EU-Kommission hat in den letzten zehn Jahren massiv in die Forschung zu Künstlicher Intelligenz investiert – insgesamt über 3 Milliarden Euro. Smarte Grenzen sollen unter anderem das Sterben im Mittelmeer verringern und die Kontrollen an den EU-Außengrenzen automatisieren. AlgorithmWatch und das ZDF Magazin Royale haben recherchiert, was es mit einigen dieser von der EU geförderten Projekte auf sich hat.

Das Mittelmeer gilt als die tödlichste Grenzregion der Welt. Rund 29.000 Menschen sind in den vergangenen zehn Jahren beim Versuch, Europa zu erreichen, im Mittelmeer verschwunden oder ums Leben gekommen.

Gleichzeitig werden seit 2015 die Rufe nach einem stärkeren EU-Außengrenzschutz lauter. In der Beschreibung eines EU-Forschungsprojektes heißt es etwa: „In den letzten Jahren hat die irreguläre Migration dramatisch zugenommen und ist mit bestehenden Systemen nicht mehr beherrschbar.“

Eine Antwort der EU-Kommission auf diese Herausforderungen ist: Künstliche Intelligenz. Die EU-Kommission lässt seit Jahren daran forschen, wie Grenzüberwachung mithilfe von Drohnen, Satelliten und anderen digitalen Systemen zunehmend automatisiert werden kann.

EU investiert Milliarden in KI-Forschung

Die Forschungsprojekte werden durch EU-Programme wie Horizon 2020 und Horizon Europe mit Millionenbeträgen gefördert. Die EU-Kommission veröffentlicht zu geförderten Forschungsprojekten einige allgemeine Informationen. So erfährt man auf einer Website der EU-Kommission beispielsweise, dass das Forschungsprojekt ODYSSEUS herausfinden soll, wie Grenzbeamt*innen mittels KI „entlastet” und ihre „Produktivität verbessert“ werden kann.

Das EU-Projekt METICOS sollte „gesellschaftliche Akzeptanz” von Technologien fördern, die „abnormale Verhaltensweisen“ bei Menschen erkennen sollen.

Forscher*innen beobachten seit Jahren eine „Securitization” der Migrationsdebatte. Diese „Versicherheitlichung” bedeutet, dass gesellschaftliche Themen – wie zum Beispiel Flucht und Asyl – zu einem Sicherheitsproblem für uns alle erklärt werden. Die Idee dahinter: Wenn Geflüchtete nicht mehr als Schutzsuchende, sondern als Sicherheitsrisiko dargestellt werden, nehmen Bürger*innen harte Überwachungsmaßnahmen gegen sie wohl eher in Kauf.

Auch in EU-Projekten wird Migration als Sicherheitsthema verhandelt. Viele EU-Forschungen zum Thema Migration sind etwa in der Forschungskategorie „Secure Societies“ – „sichere Gesellschaften” – gelistet.

Grenzschutz vor der Grenze

Die EU setzt nicht nur auf den Schutz der Außengrenzen im Mittelmeerraum, sondern weitet seit einigen Jahren Grenzschutzaktivitäten auf einen sogenannten „Grenzvorbereich“ aus. Laut EU-Verordnung ist damit „das geografische Gebiet jenseits der Außengrenzen” gemeint, „das für die Verwaltung der Außengrenzen mithilfe von Risikoanalyse und Lagebewusstsein von Bedeutung ist”. Projekte wie NESTOR konzentrieren sich explizit darauf, Überwachung mithilfe von KI-gestützten Anwendungen an diesem „Grenzvorbereich” auszubauen.

Mit Blick darauf, in welchen Gebieten die Grenzschutzagentur Frontex mittlerweile operiert, scheint der EU-„Grenzvorbereich” in der Praxis weit ausgelegt zu werden: Er erstreckt sich über den Westbalkan, den südlichen Kaukasus bis nach Nordafrika und in die Sahelzone hinein.

EU-Staaten wie Deutschland versuchen, die Anzahl von Abschiebungen zu erhöhen, indem sie Migrationsabkommen mit Ländern aus diesen Regionen abschließen, auch gegen die Interessen der dortigen Bevölkerung. Am Beispiel Tunesien zeigt sich etwa, wie Technik – auch aus Beständen der Bundespolizei – über schwer zu kontrollierende, internationale Organisationen an lokale Grenzschutzbehörden gelangt, die Menschenrechte missachten.

Migration vorhersagen, um sie zu verhindern?

Einige EU-finanzierte Projekte beschäftigen sich mit der Vorhersage von Migrationsbewegungen. So auch das System EuMigratTool. Es enthält „monatliche Vorhersagen zu Asylanträgen in der EU“; seine Entwickler*innen behaupten, dass es in der Lage sei, die potenziellen Risiken von Spannungen zwischen Migrant*innen und EU-Bürger*innen zu identifizieren.

Der eigene Nutzer*innen-Beirat des Forschungsprojekts warnte in einer Stellungnahme vor Missbrauch: Das System könne dazu führen, dass „Grenzen geschlossen und zu Gewalt angestiftet” würde. Die Daten zu Asylanträgen könnten außerdem dafür verwendet werden, „Unterstützung für eine Anti-Migrationspolitik zu bekommen“. Entwickelt wurde es dennoch.

Ein anderes Projekt zog die Trends der Google-Suche heran, um vorherzusagen, wann es wie zu Migrationsbewegungen von Rumänien ins Vereinigte Königreich kommen könnte.

Das EU-finanzierte HumMingBird wertet sogar die Metadaten von Telefongesprächen aus, um herauszufinden, wo telefoniert wird und wo es womöglich zu Migrationsbewegungen kommen könnte.

Vieles bleibt geheim

Die allgemeinen Projektbeschreibungen werden auf der Webseite der EU-Kommission veröffentlicht.

Viele Dokumente – wie zum Beispiel die Ethikberichte der Projekte – bleiben aber oft unveröffentlicht. Damit fällt es schwer, einzuschätzen, welche Gefahr für Grundrechte von einem Projekt ausgehen kann oder was die Forscher*innen konkret vorhaben. Eine demokratische Debatte über den Einsatz von Künstlicher Intelligenz an den EU-Außengrenzen ist damit nicht möglich.

Deshalb haben Rechercheur*innen von AlgorithmWatch und ZDF Magazin Royale bei der zuständigen European Research Executive Agency (REA) die bislang unveröffentlichten Dokumente zu KI-Forschungsprojekten der EU angefragt.

Die REA gehört zur EU-Kommission und soll in ihrem Auftrag „wegweisende Projekte in praktisch allen Bereichen von Forschung und Innovation finanzieren und verwalten“.

Als EU-Behörde ist die REA gesetzlich dazu verpflichtet, der Öffentlichkeit den Zugang zu Dokumenten von EU-Institutionen zu ermöglichen. Deshalb haben AlgorithmWatch und das ZDF Magazin Royale bei der REA auf Grundlage der europäischen Informationsfreiheitsgesetze (EU-Verordnung 1049/2001 und 1367/2006) Zugang zu den Dokumenten gefordert.

Diese EU-Verordnungen ermöglichen allen EU-Bürger*innen den Zugang zu Dokumenten des Europäischen Parlaments, des Rates und der Kommission. In Artikel 4 der Verordnung 1049/2001 sind Ausnahmen genannt, in denen die EU-Institutionen die Herausgabe der Dokumente verweigern können. Darunter: Schutz der öffentlichen Sicherheit, Datenschutz oder kommerzielle Interessen.

Transparenz der EU-Kommission: 169 von 177 Seiten geschwärzt

Die REA hat den Zugang zu den Dokumenten allerdings stark limitiert. Beim Forschungsprojekt NESTOR wurden die Rechercheur*innen etwa angehalten, aufgrund des hohen Aufwands maximal zehn von insgesamt 88 Dokumenten auszuwählen. Diese Dokumente wurden von der REA wiederum teilweise stark geschwärzt. Ein Anhang der Förderbewilligung von NESTOR enthielt etwa 169 geschwärzte Seiten.

Auf Anfrage rechtfertigt die EU-Kommission die großflächigen Schwärzungen unter anderem folgendermaßen: „Während das öffentliche Interesse durch die bestehenden Ethikverfahren geschützt ist, würde die Veröffentlichung nicht-öffentlicher Dokumente diese für Wettbewerber innerhalb und außerhalb der EU zugänglich machen.”

Die Öffentlichkeit wird also rausgehalten, weil es interne Ethikverfahren gibt, die die Projekte ohnehin kontrollieren.

Auch die ethische Kontrolle ist mangelhaft

Die EU-Kommission kann etwa bei Forschungsprojekten, die komplexe und bedeutende ethische Fragen aufwerfen, die Kontrolle durch Ethikberater*innen vorschreiben.

Diese Ethikberater*innen haben unabhängig zu sein. So hält die EU-Kommission in einer Dos and Don’ts-Liste fest: „[Don’t] Ask your best friend for a favor or recruit your EAB [Ethics Advisory Board] from the project partners or their home institutions.“ Ethikberater*innen sollten also weder für Projektpartner*innen arbeiten, noch mit der Projektleitung befreundet sein.

Der unabhängige Ethikberater von iBorderCtrl war nicht unabhängig

In einem Fall hat die REA bei den herausgegebenen Dokumenten offenbar vergessen, den Namen des Ethikberaters von iBorderCtrl unkenntlich zu machen. Nur deshalb konnten die Rechercheur*innen nachvollziehen, dass der unabhängige Ethikberater von iBorderCtrl nicht unabhängig war.

Dem ZDF Magazin Royale und AlgorithmWatch ist der Name des Ethikberaters bekannt. Die Redaktion hat sich entschlossen, den Namen des Ethikberaters nicht zu veröffentlichen, weil es sich um keine Person des öffentlichen Interesses handelt. Die Frage, wie EU-finanzierte Projekte ethisch kontrolliert werden, ist jedoch sehr wohl von öffentlichem Interesse.

iBorderCtrl wurde unter anderem von der Leibniz Universität Hannover entwickelt.

Deren Institut für Rechtsinformatik hat sich den rechtlichen und ethischen Fragen des Projekts gewidmet. Dabei sollte ein unabhängiger Ethikberater den Forschungsbeitrag der Leibniz Universität Hannover kontrollieren.

Nach Recherchen von ZDF Magazin Royale und AlgorithmWatch war der unabhängige Ethikberater von iBorderCtrl im gleichen Zeitraum auch Lehrbeauftragter der Leibniz Universität Hannover – und das sogar am Institut für Rechtsinformatik.

Dort hielt er im Wintersemester 2015/2016 sowie in den Wintersemestern 2016/2017, 2017/2018 und 2018/2019 jeweils eine Lehrveranstaltung. Dem ZDF Magazin Royale und AlgorithmWatch liegt zudem ein Dokument, datiert vom 30. November 2016, vor, in dem der Dozent der Leibniz Universität Hannover seine Zusage als „unabhängiger externer Ethikberater” des Forschungsprojekts bekannt gab.

Dass der unabhängige Ethikberater gleichzeitig für eine*n der Projektpartner*innen arbeitete, dürfte den Vorgaben der EU-Kommission widersprechen, in denen es heißt: „Unabhängigkeit und die Freiheit von jeglichen Interessenskonflikten sind Voraussetzungen für die Teilnahme an diesen Ethikbeiräten.“

Der unabhängige Ethikberater erklärte auf Anfrage des ZDF Magazin Royale, dass er diese Vorgabe kannte: „Ja, diese Vorgabe war und ist mir bekannt, und sie war zu jedem Zeitpunkt im Hinblick auf meine Tätigkeit als 'Ethical Advisor' auch erfüllt.“

Auch die Leibniz Universität Hannover sieht kein Problem darin, dass ihr Dozent auch als Ethikberater für iBorderCtrl tätig war: „Nein, ein wirtschaftliches Abhängigkeitsverhältnis ist in Hinblick auf die Stundenanzahl und Vergütung der Lehraufträge LUH-seitig entschieden zurückzuweisen.”

Die Leibniz Universität Hannover war zwar in die Auswahl des unabhängigen Ethikberaters involviert, aber betont gegenüber dem ZDF Magazin Royale, „nicht Projektleader” gewesen zu sein. Die Verantwortung liege beim Softwareunternehmen European Dynamics Luxembourg SA.

Die Rechercheur*innen haben European Dynamics um eine Stellungnahme gebeten, wer den unabhängigen Ethikberater von iBorderCtrl ernannt hat. European Dynamics hat die Presseanfrage des ZDF Magazin Royale bis Redaktionsschluss nicht beantwortet.

Die EU-Kommission, die 100 Prozent der Projektkosten von iBorderCtrl übernommen hat, lässt auf Anfrage des ZDF Magazin Royale wissen, dass sie sich aus Datenschutzgründen nicht zum unabhängigen Ethikberater von iBorderCtrl äußert.

tl;dr: iBorderCtrl wirft schwierige ethische Fragen auf. Die Vorgaben für die Ernennung des unabhängigen Ethikberaters wurden offenbar nicht eingehalten. Die für ethische Fragen zuständige Leibniz Universität Hannover sagt, sie seien für die Ernennung des Ethikberaters nicht zuständig gewesen. Der angeblich zuständige Projektkoordinator „European Dynamics” hat auf die Fragen des ZDF Magazin Royale nicht geantwortet. Und die EU-Kommission äußert sich aus Datenschutzgründen nicht zum Sachverhalt.

Das sind die untersuchten KI-Projekte

Der nächste Lügendetektor – TRESSPASS

iBorderCtrl ist nicht das einzige EU-Forschungsprojekt, das Lügendetektoren beinhaltet. TRESSPASS untersuchte bis November 2021 Kontrollmaßnahmen an Grenzübergängen für „Bedrohungen” wie etwa „irreguläre Migration”. Eine dieser Kontrollmaßnahmen ist laut öffentlich einsehbarer Forschungsunterlagen auch die Verwendung eines Systems namens „MMCAT” (Multi Modal Communication Analysis Tool).

MMCAT soll durch Videoaufnahmen „Mikrobewegungen in Bezug auf Mimik, Gestik und Körperhaltung (Lächeln, Blinzeln, Handbewegungen, Neigen usw.)” analysieren. Grenzbeamte sollen MMCAT bei Befragungen nutzen können, um zu beurteilen, „ob ein Reisender die Wahrheit sagt”. Ähnlich wie bei iBorderCtrl ging das Forschungsteam von TRESSPASS vom umstrittenen Schluss aus, dass körperliche Reaktionen ein Indikator seien, um Lügen zu erkennen. „So wie es für Mikroexpressionen keine überzeugenden empirischen Befunde gibt, die darauf hinweisen, dass diese helfen könnten, zwischen Lügen und Wahrheit zu unterschieden, gibt es diese auch für die Körperhaltung nicht. Insofern würde ich dadurch keine Steigerung der Zuverlässigkeit erwarten“, erklärt die Rechtspsychologin Kristina Suchotzki.

Im Februar 2019 wurde in Amsterdam MMCAT an Menschen getestet. Ein weiterer Test war laut Unterlagen für Anfang 2021 geplant. Öffentliche Projektunterlagen beschreiben die Tests wie folgt: „Ein paar Teilnehmer*innen wurden gebeten, an einem Kartenspiel teilzunehmen und einige Fragen zu den Karten zu beantworten, dabei sagten sie manchmal die Wahrheit, manchmal logen sie. Diese Szenen wurden gefilmt und das Material analysiert, um zu prüfen, ob das MMCAT-System nützliche Hinweise zur Ehrlichkeit der Spielteilnehmer*innen liefern könnte.“

„Es ist nicht ungewöhnlich, in ersten Schritten mit Szenarien zu beginnen, die im Labor einfach umsetzbar sind, um zu überprüfen, wie die Ergebnisse in einem solchen Kontext ausfallen“, sagt Psychologin Suchotzki, macht aber gleichzeitig deutlich: „Damit darf man sich aber auf keinen Fall zufrieden stellen und muss dann – zunächst im Labor, denn nur da hat man eine Kontrolle und realistische Rückmeldung darüber, wer die Wahrheit sagt und wer lügt – Schritt für Schritt versuchen, sich an Szenarien aus der Praxis anzunähern. Ohne solche Zwischenschritte Ergebnisse eines solchen künstlichen, sehr praxisfernen Szenarios auf die Praxis zu übertragen, halte ich für verfrüht.“

Für einen weiteren Testlauf setzten polnische Grenzbeamte MMCAT bei verdächtigten Reisenden ein. Das Forschungsteam von TRESSPASS zog „Lehren” aus diesen Testläufen. „Es besteht das Risiko, dass die Technologie ungenau ist (z. B. voreingenommen), dass sie missbraucht wird oder dass sensible Daten erstellt werden, die geleakt oder für illegale Zwecke wiederverwendet werden können“, heißt es in einem Fazit, ohne jedoch die grundsätzliche Ausrichtung der Forschung zu hinterfragen. MMCAT rege vielmehr die „(öffentliche) Debatte über das Warum, Wie und Was der Verbesserung von Befragungen bei Grenzkontrollen” an.

Mehr Transparenz mit dem neuen AI-Act?

Die gerade verabschiedete KI-Verordnung der EU (auch AI Act genannt) hätte den Einsatz von KI-basierten Systemen zur Überwachung und Kontrolle an unseren Grenzen beschränken können.

Das EU-Parlament hat sich lange dafür eingesetzt, mehr Transparenz in der KI-Verordnung zu verankern und den Einsatz von KI-basierten Systemen in der Migration teilweise zu verbieten. Die meisten dieser Schutzmaßnahmen wurden jedoch von den EU-Mitgliedstaaten abgelehnt und sind in der endgültigen Fassung nicht mehr enthalten.

Dokumente

Große Teile der uns vorliegenden Dokumente wurden durch die zuständige Agentur der EU-Kommission geschwärzt. Namen und personenbezogene Daten auf den folgenden Seiten wurden von AlgorithmWatch und ZDF Magazin Royale unkenntlich gemacht, um die Privatsphäre einzelner Personen zu schützen:

• d4-1firstversionoftheiborderctrlsoftwareplatform-redacted-compressed.pdf (S. 103, 152)
• d4-2secondversionoftheiborderctrlsoftwareplatform-redacted.pdf (S. 36, 44, 46, 47)
• d8-5periodicprogressreport2-redacted (S. 2)
• d8-7annualreport2-redacted.pdf (S.22)
• d7-6standardizationandcollaborationwithotherprojects-redacted (S. 72)

ROBORDER

NESTOR

iBorderCtrl