Humboldt-Universität zu Berlin - European Law School (ELS) — EULysses

Utopie Europa 2021



Dieses Jahr wieder nimmt die HELS erneut an der Veranstaltungsreihe "Utopie Europa" der Französischen Botschaft in Deutschland und des Institut Français teil.

 

Am 26. Januar 2021 fand eine Podiumsdiskussion zum Thema "Letale Autonome Waffensysteme" statt.

 

 

ZUSAMMENFASSUNG DER PODIUMSDISKUSSION

26. JANUAR 2021 _ LETALE AUTONOME WAFFENSYSTEME

 

ReferentInnen

• Dr. Cornelius Adebahr (Mitglied im TEAM EUROPE Rednerpool der Europäischen Kommission, Mitglied der Deutschen Gesellschaft für Auswärtige Politik)
• Dr. Jürgen Altmann (Campaign to Stop Killer Robots, Gründer des ICRAC)
• Frau Trittenbach ist von Facing Finance e.V. sowie Campaign to Stop Killer Robots in Deutschland. Facing Finance ist hierbei eine der fünf deutschen NGOs, die Teil der Campaign to Stop Killer Robots sind. Facing Finance koordiniert die Kampagne in Deutschland.
• Dr. Elisabeth Hoffberger-Pippan (Wissenschaftliche Mitarbeiterin der Stiftung Wissenschaft und Politik. Forschungsgruppe: Sicherheitspolitik)
• Prof. Dr. Tobias Matzner (Professor für "Media, Algorithmen und Gesellschaft" an der Universität Paderborn)

 

         Technischer Entwicklungsstand der letalen autonomen Waffensysteme (LAWS)

1) Wir als Moderatorinnen schlagen eine Definition der LAWS vor, die später diskutiert wird. LAWS definieren wir als Waffen, die einen Menschen orten, identifizieren und töten können, ohne dass ein Soldat daran beteiligt ist. Es sind Technologien, die ein hohes Maß an Autonomie erfordern.

Die ReferentInnen betonen erstmal, dass die Definition nicht so sehr umstritten ist, wie wir zunächst erwähnt haben. Das internationale Komitee des roten Kreuzes betrachtet LAWS als Waffensysteme, die selbständig und ohne menschliche Kontrolle ihr Ziel auswählen, identifizieren und angreifen können. Diese Bezeichnung ist verbindlich.

Dazu wird klargestellt, dass ein militärisches Ziel nicht unbedingt ein Mensch sein muss.

 

2) Inwiefern könnte ein Roboter autonome Entscheidungen treffen? Wenn man von Killer Robotern spricht, lässt es sich leicht an Science-Fiction Filme denken, wie z. B. Terminator. Diese Vorstellungen sind einfach erschreckend. Aber wie hoch ist die Wahrscheinlichkeit, dass reine autonome Waffensystem auftauchen? Wie nachvollziehbar scheint es Ihnen, dass Waffensysteme entwickelt werden, die ohne menschliche Einbeziehung die Entscheidung treffen können, jemanden zu erschießen?

Wir erfahren durch die Antworten, dass es heutzutage nicht besonders schwer ist, ein System zu bauen, das einen Menschen töten kann. Die Herausforderung heutzutage ist es, alle Subsysteme, die für den Einsatz auf dem Kriegsfeld benötigt werden, in einem System zusammenzufassen. Die Subsysteme wie automatische Navigationssyteme, Flugzeuge usw. sind heute schon relativ weit entwickelt. In dieser Hinsicht müssen wir die Illusion von LAWS als Terminator, d.h. LAWS mit einer zum Menschen analogen Gestalt ablegen. Ein Mensch ist sozusagen nur ein komplexes System, wobei ein AWS aus mehreren Subsystemen bestehen würde. 

 

3) Ist es vertretbar, die Entscheidung zum Töten einem Roboter zu überlassen? Der Vatikan verurteilt z.B. die Entwicklung von letalen autonomen Waffensystemen aus ethischen Gründen. Sollte ein Roboter jemanden töten, wäre die Tötung umso unmoralischer. Aber warum ist das der Fall?

Zunächst wird gesagt, dass es heutzutage für eine Maschine unmöglich ist, Verantwortung zu übernehmen da sie kein Gewissen hat, was rechtlich verlangt wird, um eine Verantwortungszuschreibung zu machen.

Dazu kommt, dass das Völkerrecht noch implizit davon ausgeht, dass Menschen im Krieg die Entscheidungen treffen und die Möglichkeit haben, sich genau zu überlegen, ob der Angriff im Kontext angemessen ist. Ein Soldat sollte nach gültigem Völkerrecht den Kontext beurteilen können, was eine Maschine dagegen nicht machen kann, da sie nur ihre Aufgabe erfüllt. Sie kann nicht für alle möglichen Situationen programmiert sein, was bedeutet, dass sie einige Sonderfälle nicht berücksichtigen und beurteilen kann.

Ein wichtiger Unterschied zwischen eingesetzten Maschinen und Soldaten liegt daran, was nach dem Krieg passiert. Die meisten Soldaten kehren nach dem Krieg nach Hause zurück und reflektieren noch über ihre Erfahrung. Der Krieg mit Menschen ist nicht nur auf das Schlachtfeld beschränkt, sondern kann auch im Nachhinein diskutiert und debattiert werden. Im Gegensatz dazu steht durch AWS die Tendenz, immer weniger Menschen im Krieg einzusetzen, was zu Folge hätte, dass der Krieg auf das Schlachtfeld beschränkt werden könnte.

 

Man muss sich allerdings auch die Argumente von den Ländern, die ein Verbot von AWS ablehnen, vor Augen halten. Im Vorrang geht es um die USA, die behaupten, dass sich ein Targettingsprocess entwickeln lassen könnte, der das Handeln des Systems mit dem humanitären Völkerrecht in Einklang bringen würde. Als zweites Argument wird oft gesagt, dass die Maschinen den Vorteil haben, keine Angst zu fühlen. Die ReferentInnen bezweifelen zwar diese Argumente, halten es aber für wichtig sie vorzustellen.

 

Auf jeden Fall wird oft betont, dass AWS eine dritte Revolution in der Kriegsführung darstellen. Die erste war dabei die Erfindung des Schießpulvers und die zweite die Erfindung der Atomwaffen. Wie es sich schon früher durch wichtige Entwicklungen in der Kriegsführung gezeigt hat, bedeutet es, nur weil die Präzision und Geschwindigkeit der Waffen steigt, nicht, dass der Krieg weniger Menschen betrifft.

 

4) Inwiefern würden diese Waffen betriebssicher sein? Sollten wir befürchten, dass diese Waffen auf dem Schlachtfeld gehackt werden? Wie würde man sich schützen können, falls die Kontrolle über die Waffen durch Hacking verloren wird?

Hier ist ein oft auftauchender Widerspruch beleuchtet: diejenigen, welche die Entwicklung von solchen Waffen befürworten, loben immer diese Waffen als sehr flexibel und höchst präzise Instrumente. Andererseits entsteht mit flexiblen Waffen der Risiko, dass es es umso leichter macht, Schlupflöcher im System zu finden und auszunutzen.

Auf einem Schlachtfeld ist es zudem undenkbar, eine Fehlerquote aufzunehmen, wie sie für andere Aufgabe der KI (z.B Werbung im Internet) akzeptabel wäre. Zusätzlich zu immer möglichen Fehlern gibt es regelmäßig Sicherheitsprobleme, die auch große Institutionen oder Firmen betreffen.

 

5) Denken Sie, dass wir weiterhin die Möglichkeit haben werden, die Verantwortlichkeit für eine Kriegshandlung genau identifizieren zu können? Sollte es rein autonome Roboter geben, werden wir dann die Möglichkeit haben, nachvollziehen zu können, wann und wie die Entscheidungen getroffen wurden?

Diese Frage wird im Zusammenhang mit dem Accountability Gap gesehen, der für eine Debatte auf der rechtlichen Ebene sorgt. Auf der völkerrechtlichen Ebene gibt es zwei wesentliche Verantwortlichkeitsregime: einerseits tragen die Staaten die Verantwortung, andererseits gilt das Völkerstrafrecht. D.h., dass der Soldat oder das Unternehmen, welches diese Waffen produziert hat zur Verantwortung gezogen werden kann. Hierbei gibt es jedoch ein many hands problem; es kann nicht bewiesen werden, wie das Völkerrecht es verlangt, wer mit welcher Absicht an einem möglichen durch die Waffe begangenen Völkerrechtsbruch, beteiligt ist.

Mit KI ist es umso schwerer, da KI-Algorithmen oft durch undurchsichtige Verfahren Schlüsse ziehen und Entscheidungen treffen. Daher wird es immer schwerer, nachvollziehen zu können, wie solche Waffensystem Aufgaben erfüllen und warum das KI-System eine bestimmte Handlung begangen hat. Außerdem schließen KI-Systeme Fehler mit ein: Es passiert z.B oft, dass Bilder von diesen Systemen falsch identifiziert werden.

 

         2. Block: Umgang mit AWS auf internationaler Ebene

1) Die Gefährlichkeit der Waffen wirft die Frage auf, ob und wie die Waffen reguliert werden sollten. Welche Regulierungen werden im Moment auf europäischer Ebene diskutiert? 

Verschiedenen Ebene Europas sind betroffen. Nur die Länder können internationalen Verträge abschließen. Weder das Parlament, die Kommission noch der Europäische Rat können Entscheidungen treffen, da sie die Kompetenz dafür einfach nicht haben. Die europäischen Institutionen können aber Grundwerte definieren, die als Bedingung für die von den Staaten beschlossenen Verträge gelten.

Alle Länder der EU beziehen unähnliche Position gegenüber den AWS. Im Rahmen der Vereinten Nationen wurde ein Rahmen-Abkommen (in Genf) unterzeichnet. Dort haben sich tiefe Differenzen gezeigt. Einerseits gibt es Länder wie unter anderen die USA, Israel und Tschechien, die gegen ein Verbot sind. Sie versprechen sich davon militärische Vorteile in der Zukunft. Andere Länder, wie China, lehnen ein solches Verbot nicht unbedingt ab, plädieren aber für ein Verbot des Einsetzens solcher Waffen. Sie machen also einen Unterschied zwischen dem Besitz und der Verwendung der Waffen. Schließlich gibt es eine Gruppe von 30 Ländern, die für ein Verbot eintreten. Genauer gesagt fordern sie ein Mandat über Verhandlungen. Dazu gehört als einziges EU Land Österreich (und dazu aus Europa muss man auch den Vatikanstaat bei den 30 zahlen, der keine große Militärmacht ist, der aber immer wieder in den Genfer CCW-Gesprächen das Wort genommen hat).

Im Rahmen des Gremiums in Genf gilt ein Konsensprinzip: alle der 130 Mitgliedstaaten haben de facto ein Veto-Recht. Alles was dort gesagt wird, bleibt deshalb vage und allgemein. Die Länder haben sich auf eine Liste von Leitprinzipen geeinigt, diese besagen, dass die Menschen eine Verantwortung für den Waffeneinsatz und für die Entwicklung dieser Waffen tragen. Sogar der Begriff der bedeutsamen menschlichen Steuerung ist noch umstritten. Die von manchen Ländern vorgeschlagenen Bedingung, dass bei jedem Waffeneinsatz ein Mensch eine bedeutsame Funktion zu erfüllen habe, ist erfolglos geblieben. Es ging im Großen und Ganzen darum, eine richtige Kenntnis der Situation vom Soldaten zu verlangen, und nicht nur einen Menschen zu haben, der auf einer Maus anklickt, was ein Computer vorschlägt.

Dazu kommt, dass die Verhandlungen wegen der Covid-19 Pandemie stillstehen. Die kommenden Überprüfungskonferenzen dieser Konvention am Ende des Jahres werden entscheidend sein. Wahrscheinlich wird an diesem Zeitpunkt entschieden, ob es überhaupt eine Zukunft für diese Diskussion innerhalb der UN gibt, oder ob ggf. die Staaten, die auf ein Verbot hinarbeiten möchten, diese Diskussion aus der UN herausnehmen müssen und in einem unabhängigen Rahmen weiterdiskutieren müssen.

Als Model für eine mögliche Regulierung der AWS wird das vorbeugende Verbot von Laser-Blendwaffen zitiert.

 

2) Das Auf-/ und Abrüsten mit Waffen wird von Staaten oft zur Machtdemonstration und zur Abschreckung anderer Staaten genutzt. Nehmen wir mal das Szenario: nur die EU führt ein solches Verbot ein. Denken Sie, dass sie damit ein gutes Beispiel setzt oder würde das die Mitgliedstaaten eher in Gefahr bringen?

Unsere Frage wird kommentiert, da sie auf die Theorie der Abschreckung, die in nuklearer Zeit dominiert hat, verweist. Dies ist die Idee, dass man durch Waffengleichheit Kriege verhindern kann. Der Logik der Theorie folgend sollte die EU in diese Waffen investieren, weil andere Länder das tun. Das ist jedoch keine Logik, die sich die EU verschrieben hat. Im Gegenteil, unabhängig von dieser Frage haben sich die Mitgliedstaaten auf eine Logik der Kooperation geeinigt. In der Zeit des Kalten Krieges hat die EU immer wieder versucht, einen dritten Weg zu gehen, auch zwischen den Blöcken, auch wenn sie selber natürlich im Westen verankert war. Um heute noch um einen Weg der Kooperation zu schaffen und zu unterstützen sollte sich die EU mit dieser Frage beschäftigen.

Sie kann in einen Teufelskreis führen. Die Sicherheit gegen einen Kriegsausbruch basiert nicht nur darauf, dass zwei Gegner symmetrische Waffen besitzen, sondern auch darauf, dass beide Waffen in den Händen halten, die den Anderen mit einem Schlag weitgehend vernichten könnten. Oder sie liegt an den Zeitskalen, in welchen Entscheidungen nötig sind. Mit den Atomwaffen war es eine viertel Stunde oder sogar eine halbe. Mit AWS geht es um Sekunden. Diese Waffen lassen keine Zeit für das Überlegen.

 

Frage aus dem Publikum über die Position Chinas gegenüber der AWS? China fordert, dass der Einsatz von LAWS verboten wird, jedoch nicht der Besitz.

Die Diskrepanz von Aussagen, die von Militär und Diplomaten gegenüber AWS getroffen werden, wird zunächst erwähnt. Das Militär neigt dazu, AWS als vielversprechende Waffen zu betrachten. Eine Analogie zu anderen Abrüstungs- und Rüstungskontrollverträgen scheint hier bedeutsam für Chinas Verhalten zu sein. China verfolgt eine No First Use Policy, was die AWS angeht, wie es bei Nuklearwaffen getan hat.

 

Frage von Herr Matzner: was die Geheimnisdienste und Grenzkontrolle Agency (Frontex z.B.) angeht: was für eine Regulierung könnte und sollte für Akteure gelten, die nicht klassische militärische Akteure sind?

Es wird daraufhin eingewiesen, dass falls im Rahmen des CCW (Konvention über bestimmte konventionelle Waffen) ein Protokoll für Regulierung verabschiedet wird, darauf geachtet werden muss, dass das Protokoll für internationale und auch nicht internationale bewaffnete Konflikt gilt. Es soll also im beiden Bereichen Law Inforcement und Border Controll gelten.

Im Zusammenhang mit der Schwierigkeit, auf einer internationalen Ebene ein Abkommen abschließen zu lassen, wird gesagt, dass die EU als ein vor allem wirtschaftlicher Akteur einen Hebel besitzt: Handelssanktionen. Sie stellen ein mögliches Druckmittel dar, für Staaten, die die Entwicklung solcher Waffen verhindern wollen.

Auf einer europäischen Ebene wissen wir schon, dass das europäische Parlament in der gemeinsamen Außen- und Sicherheitspolitik keine Kompetenz hat. Aber das europäische Parlament entscheidet mit über das Budget, was eine wichtige Rolle spielt, was Waffen angeht. Das europäische Parlament hat schon diesen Hebel bezüglich des Europäischen Verteidigungsfonds verwendet. Eine Einsetzung wäre nicht besonders spektakulär, hätte jedoch schon Wirkungen.

 

            3. Block: Blick in die Zukunft richten

1) Werden Kriege in der Zukunft nur noch im Cyberspace stattfinden?

Obwohl es den ReferentInnen schwer fällt, sich die Zukunft vorzustellen, werden die Modalitäten der kommenden Kriege besprochen. Es hängt viel davon ab, ob wir später weiterhin asymmetrische Konflikte haben. Auf jeden Fall steigt die Diskrepanz zwischen offensiven und defensiven Strategien mit AWS.

 

2) Wo wird die Rolle des Menschen in der Entscheidungsschleife der zukünftigen Kriegsführung sein. Wird es eine Mischform, wird er ein Kontrolleur?

Ganz bestimmt wird die Rolle der Menschen sinken: wie könnte jemand selber einen automatisierten Schwarm regulieren? Technisch ist es fast unmöglich zu kontrollieren. Die Intervention des Menschen in solchen Systemen verlangsamt alles sosehr, dass der Akteur, der eine ausreichende menschliche Kontrolle angewendet hat (ethisch korrekt, rechtlich notwendig) den Krieg einfach verlieren wird. Die Langsamkeit des Signalfunks sorgt auch für mehrere Probleme, was die Rolle des Menschen angeht.

 

3) Als letzte Frage wird gestellt, ob Roboter sich in der Zukunft irgendwann gemeinsam gegen die Menschen verbünden könnten? Ist dies eine mögliche Realität oder eher Fiktion?

Diese Frage verweist eigentlich auf eine lange Diskussion innerhalb der Wissenschaften der KI und Robotik. Es geht darum, zu fragen, ob überhaupt so etwas wie eine allgemeine menschenähnliche KI möglich wäre, die vielleicht sogar die Menschen übertreffen könnte, was die Auffassungsfähigkeit angeht und die Extrapolation von Trend usw. Heute ist die Frage nicht wirklich relevant. Wir wissen immer noch nicht wie Menschen das machen, wie könnten wir das also nachbauen?

Die Forschung und der Fortschritt könnten aber so schnell weiter gehen, dass es nicht komplett auszuschließen ist.