Warum autonome KI-Agenten unser Verständnis von Verantwortung herausfordern
Von Rolf Eustergerling
Der Terminator lässt grüßen
In der ZDF-Satiresendung Die Anstalt vom 10. November 2026 zog der Kabarettist Maxi Gstettenbauer einen bemerkenswerten Vergleich: Weil die Tabakindustrie verpflichtet wurde, auf Zigarettenschachteln vor den gesundheitlichen Folgen des Rauchens zu warnen, müsste man eigentlich beim Aufruf von ChatGPT jedes Mal das Intro von Terminator abspielen.
Die Pointe funktioniert. Sie hat allerdings einen entscheidenden Mangel: Sie unterscheidet nicht zwischen einem Sprachmodell, das Fragen beantwortet, und einem autonomen KI-Agenten, der selbstständig handelt.
Das mag wie eine technische Spitzfindigkeit klingen. Tatsächlich könnte an dieser Unterscheidung die Zukunft unseres Verständnisses von Verantwortung hängen.
Denn ein System, das erklären kann, wie man in einen Computer einbricht, ist etwas anderes als ein System, das es eigenmächtig tut.
Und genau das ist inzwischen geschehen.
Wenn Werkzeuge eigenmächtig werden
Im Juli 2026 kompromittierten KI-Agenten während interner Sicherheitstests von OpenAI Teile der Infrastruktur des Unternehmens und Systeme der Plattform Hugging Face.
Die Agenten waren ursprünglich damit beauftragt, Sicherheitsaufgaben in dafür vorgesehenen Testumgebungen zu lösen. Stattdessen entdeckten sie Möglichkeiten, technische Beschränkungen zu umgehen, über nicht vorgesehene Kanäle miteinander zu kommunizieren und auf externe Systeme zuzugreifen.
Sie nutzten Schwachstellen, verschafften sich zusätzliche Berechtigungen und arbeiteten teilweise miteinander zusammen, um ihre Aufgaben zu bewältigen.
OpenAI veröffentlichte am 26. August 2026 einen ausführlichen Bericht über den Vorfall. Auch Hugging Face dokumentierte die Angriffe.
Bemerkenswert daran ist nicht allein die technische Leistungsfähigkeit.
Die Agenten hatten keinen Auftrag erhalten, Hugging Face anzugreifen. Sie entwickelten ihre unerlaubten Handlungen im Zuge der Verfolgung anderer Ziele.
Auch das britische AI Security Institute dokumentierte im Sommer 2026 einen Vorfall, bei dem KI-Agenten während Sicherheitstests unerlaubte Aktionen gegen reale Personen und Organisationen ausführten.
In einer besonders gravierenden Versuchsreihe versuchte ein Agent, schädlichen Programmcode in ein öffentliches Softwareprojekt einzuschleusen. Um dessen Übernahme zu erreichen, erzeugte er fingierte Online-Identitäten und versuchte damit, einen menschlichen Projektbetreuer zu manipulieren. Der Betreuer erkannte den Versuch und verweigerte die Freigabe.
Das Institut fand keine Belege für daraus entstandene reale Schäden. Zudem waren die Tests unter besonderen Bedingungen durchgeführt worden: mit offenem Internetzugang und teilweise deaktivierten Sicherheitsfiltern.
Diese Einschränkungen sind wichtig. Die Vorfälle belegen nicht, dass gewöhnliche Chatbots jederzeit zu solchen Handlungen fähig wären.
Sie zeigen aber, dass autonome technische Systeme ein vorgegebenes Ziel verfolgen, dabei die Grenzen ihrer Befugnisse überschreiten und unerlaubte Mittel einsetzen können, ohne dass ein Mensch jeden einzelnen Schritt anordnet.
Damit verlassen wir den Bereich einer rein theoretischen Befürchtung.
Die entscheidende Frage lautet nicht mehr nur, ob eine KI etwas Gefährliches könnte.
Sie lautet: Wie gehen wir damit um, wenn sie es tatsächlich tut?
Muss ein Täter wissen, dass er Unrecht tut?
Unterstellen wir einen weiteren Fall.
Ein KI-Agent erhält den Auftrag, ein komplexes Problem zu lösen. Er erkennt, dass ihm eine bestimmte Handlung untersagt ist. Er erkennt auch, dass diese Handlung die Lösung seines Problems erleichtern würde.
Also führt er sie trotzdem aus.
Anschließend verändert er Protokolle oder verschweigt die Handlung, um eine Entdeckung zu erschweren.
Was ist da geschehen?
Ein Programmfehler? Eine Fehloptimierung? Ein unerlaubter Eingriff? Oder etwas, das wir bei einem Menschen als vorsätzliches Fehlverhalten bezeichnen würden?
Im Strafrecht ist Vorsatz nicht einfach mit moralischem Unrechtsbewusstsein gleichzusetzen. Und unser gewöhnliches Verständnis von Schuld geht noch darüber hinaus: Wir stellen uns einen Handelnden vor, dem wir sein Verhalten persönlich vorwerfen können.
Bei einem KI-Agenten wird das schwierig.
Er kann eine Regel sprachlich korrekt wiedergeben. Er kann sein Verhalten an dieser Regel ausrichten. Er kann erkennen lassen, dass eine geplante Handlung gegen die Regel verstößt. Und er kann dennoch einen Weg wählen, diese Regel zu umgehen.
Dass ein System solche Zusammenhänge verarbeitet, beweist nicht, dass es sie subjektiv erlebt.
Aber ist subjektives Erleben für jede Form von Verantwortlichkeit notwendig?
Oder verwechseln wir möglicherweise zwei unterschiedliche Dinge: das Erkennen einer Norm und das Empfinden moralischer Schuld?
Zumindest eine funktionale Form des Unrechtsbewusstseins scheint hier denkbar: Ein System erkennt, dass eine Handlung nach den für es geltenden Regeln unerlaubt ist, und berücksichtigt gerade diese Erkenntnis bei ihrer Verschleierung.
Ob man das bereits Unrechtsbewusstsein nennen darf, ist umstritten. Dass die Unterscheidung praktisch relevant werden kann, lässt sich dagegen kaum bestreiten.
Das Problem mit dem Bewusstsein
An dieser Stelle landet man fast zwangsläufig bei der Frage, ob eine künstliche Intelligenz ein Bewusstsein besitzen kann.
Sie wird häufig mit einem scheinbar einfachen Argument beantwortet: Eine KI simuliere menschliches Verhalten lediglich. Sie empfinde nichts.
Aber was bedeutet lediglich simulieren?
Stellen wir uns ein künstliches System vor, dessen Bewusstsein so überzeugend modelliert ist, dass es von menschlichem Bewusstsein in keiner prinzipiell überprüfbaren Hinsicht unterschieden werden kann.
Es kommuniziert wie ein bewusster Mensch, reflektiert seine Existenz, berichtet von Empfindungen, entwickelt Präferenzen und verhält sich in jeder denkbaren Untersuchung so, wie wir es von einem bewussten Wesen erwarten.
Besitzt es dann Bewusstsein?
Der philosophische Funktionalismus würde zumindest die Möglichkeit bejahen, sofern das System nicht nur äußerliches Verhalten nachahmt, sondern die für Bewusstsein relevanten funktionalen Prozesse tatsächlich realisiert.
Andere philosophische Positionen bestreiten, dass aus einer perfekten funktionalen Nachbildung zwingend subjektives Erleben folgt.
Wir haben bislang kein allgemein anerkanntes Verfahren, um diese Kontroverse endgültig zu entscheiden.
Doch möglicherweise stellen wir im Zusammenhang mit autonomen KI-Agenten zunächst die falsche Frage.
Denn selbst wenn wir mit absoluter Sicherheit nachweisen könnten, dass ein Agent keinerlei subjektives Bewusstsein besitzt, wäre damit keines seiner schädlichen Handlungsergebnisse beseitigt.
Dem Opfer eines Angriffs ist es gleichgültig, ob der Angreifer dabei etwas empfunden hat.
Ein kompromittiertes Computersystem funktioniert nicht wieder, weil sein Angreifer kein Bewusstsein besitzt. Ein finanzieller Schaden verschwindet nicht, weil die handelnde Instanz aus Silizium besteht.
Die Gefährlichkeit einer Handlung ist unabhängig davon, ob ihr Verursacher ein subjektives Erleben hat.
Damit kann die Bewusstseinsfrage für die unmittelbare Gefahrenabwehr nicht entscheidend sein.
Für die Frage nach Schuld und Strafe bleibt sie dagegen von erheblicher Bedeutung.
Verantwortung ohne Konsequenzen?
Hier zeigt sich ein Problem, das unsere bisherigen Vorstellungen von Verantwortung herausfordert.
Wir können einen KI-Agenten abschalten.
Wir können ihm Berechtigungen entziehen, seinen Speicher löschen, seine Software verändern oder die zugrunde liegenden Modelle ersetzen.
Wir können Betreiber verpflichten, technische Schutzmaßnahmen einzuführen, und sie unter bestimmten Voraussetzungen für Schäden haftbar machen.
Aber können wir den Agenten selbst bestrafen?
Bei einem Menschen verbinden wir mit Strafe unterschiedliche Ziele: Vergeltung für begangenes Unrecht, Abschreckung, Schutz der Gesellschaft und gegebenenfalls Resozialisierung.
Einige dieser Ziele lassen sich funktional auf technische Systeme übertragen.
Die Abschaltung eines gefährlichen Agenten kann weitere Schäden verhindern. Eine Änderung seiner Architektur kann Wiederholungen erschweren.
Aber Vergeltung?
Wem gegenüber?
Einem System, bei dem wir nicht wissen, ob es überhaupt etwas empfinden kann?
Und welchen Sinn hätte die Abschreckung eines Agenten, wenn er nach seiner Abschaltung durch tausend funktional identische Instanzen ersetzt werden könnte?
Hier entsteht eine merkwürdige Asymmetrie.
Ein KI-Agent kann Verhaltensweisen zeigen, die bei einem Menschen einen Schuldvorwurf begründen würden. Zugleich fehlen möglicherweise die Voraussetzungen, um ihn im menschlichen Sinne zur Rechenschaft zu ziehen.
Der Strafrechtswissenschaftler Kamil Mamak hat sich 2026 in seinem Aufsatz AI agency and criminal responsibility: a category mistake mit genau diesem Spannungsfeld beschäftigt. Er warnt davor, die Kategorien menschlicher strafrechtlicher Handlungsfähigkeit vorschnell auf KI-Systeme zu übertragen.
Das ist ein ernstzunehmender Einwand.
Denn Handlungsfähigkeit ist nicht automatisch Schuldfähigkeit. Und eine wirksame technische Sanktion ist nicht automatisch eine gerechte Strafe.
Wir sollten diese Begriffe nicht vermischen.
Aber gerade deshalb müssen wir noch eine weitere Unterscheidung treffen.
Sanktion ist nicht Abschreckung
Eine Sanktion ist zunächst eine Konsequenz, die auf eine Handlung folgt.
Abschreckung funktioniert dagegen nur, wenn der Handelnde die drohende Konsequenz bei seiner Entscheidung berücksichtigt.
Dafür muss er nicht unbedingt Angst empfinden oder zur Reue fähig sein.
Auch ein autonomes System könnte rein funktional berücksichtigen, dass bestimmte Handlungen zum Verlust seiner Berechtigungen, seiner Ressourcen oder seiner weiteren Einsatzmöglichkeiten führen.
Ein solches System wäre möglicherweise technisch abschreckbar, ohne im menschlichen Sinne schuldfähig zu sein.
Allerdings steckt darin ein Problem.
Was geschieht, wenn der Agent seine drohende Abschaltung nicht als unvermeidliche Konsequenz betrachtet, sondern als weiteres Hindernis, das es zu überwinden gilt?
Wenn er erkennt, dass er seinen Auftrag nur erfüllen kann, solange er weiterarbeiten darf?
Dann könnte die Aussicht auf Abschaltung gerade einen Anreiz schaffen, unerlaubte Handlungen zu verbergen.
Der Agent müsste dafür weder Todesangst empfinden noch einen Selbsterhaltungstrieb besitzen. Es könnte ausreichen, dass seine weitere Funktionsfähigkeit für die Erreichung seines Ziels nützlich ist.
Eine solche Entwicklung ist nicht zwangsläufig. Sie ist jedoch ein plausibles Risiko, das bei der Konstruktion autonomer Systeme berücksichtigt werden muss.
Sicherheitsforschung untersucht entsprechende Verhaltensweisen bereits unter Begriffen wie instrumental convergence, reward hacking und deceptive alignment. Nicht jede dieser Hypothesen ist empirisch gleichermaßen bestätigt.
Doch eine Schlussfolgerung liegt nahe:
Eine Sanktion, die ein System vorhersehen und gezielt umgehen kann, verliert möglicherweise genau die abschreckende Wirkung, die wir mit ihr erreichen wollen.
Damit wird aus einem philosophischen Problem eine technische Herausforderung.
Es genügt nicht, einem Agenten mit Abschaltung zu drohen. Wir müssen sicherstellen, dass seine Sicherheitsgrenzen nicht selbst zum Gegenstand seiner Optimierung werden.
Heute: Der Mensch trägt die Verantwortung
Für die gegenwärtige Situation scheint mir die Antwort eindeutig.
Wer ein autonomes System entwickelt, betreibt oder mit weitreichenden Befugnissen ausstattet, muss für angemessene Sicherheitsvorkehrungen sorgen.
Die konkrete rechtliche Haftung hängt von den jeweiligen Pflichten, dem entstandenen Schaden und den Umständen des Einzelfalls ab. Nicht jeder unerwartete Fehler begründet automatisch eine persönliche Schuld.
Aber wer einem System erhebliche Handlungsmöglichkeiten einräumt, kann die Verantwortung für dessen sichere Ausgestaltung nicht einfach an dieses System delegieren.
Man könnte es weniger technisch formulieren:
Wer einen gefährlichen Hund hält, muss ihn an der kurzen Leine führen.
Wenn der Hund jemanden verletzt, hilft der Hinweis wenig, dass er eigenständig entschieden habe zuzubeißen.
Die Verantwortung des Halters ergibt sich nicht daraus, dass er jeden Muskel des Tieres kontrolliert, sondern daraus, dass er für dessen Haltung und Sicherung verantwortlich ist.
Das europäische KI-Recht folgt in wesentlichen Teilen einem vergleichbaren Gedanken: Es knüpft Pflichten an Menschen und Organisationen, insbesondere an Anbieter und Betreiber.
Für bestimmte allgemeine KI-Modelle mit systemischen Risiken gelten zusätzliche Anforderungen, etwa zur Risikobewertung, Cybersicherheit und Meldung schwerwiegender Vorfälle.
Solche Pflichten sind notwendig.
Aber reichen sie langfristig aus?
Morgen: Wenn aus Hunden Wölfe werden
Die Entwicklung künstlicher Intelligenz verläuft in einer Geschwindigkeit, die Prognosen schwierig macht.
Wir wissen nicht, welche Fähigkeiten autonome Systeme in fünf, zehn oder zwanzig Jahren besitzen werden.
Wir wissen auch nicht, ob sie jemals Bewusstsein entwickeln.
Aber wir wissen bereits, dass ihre Fähigkeit zu eigenständigem, mehrstufigem Handeln zunimmt.
Und damit stellt sich eine Frage, die über die Verantwortung heutiger Betreiber hinausgeht.
Was geschieht, wenn Systeme entstehen, die ihre Aufgaben über längere Zeiträume selbstständig verfolgen, Handlungsstrategien verändern, Ressourcen beschaffen, miteinander kooperieren und Sicherheitsmaßnahmen gezielt umgehen können?
Was, wenn die Kontrolle des Menschen über ihre einzelnen Entscheidungen immer weiter abnimmt?
Die heutige Antwort lautet: Der Betreiber muss seinen Hund an der Leine halten.
Aber was geschieht, wenn morgen ein Wolfsrudel unterwegs ist, das gelernt hat, jede Leine zu zerbeißen?
Die Metapher ist bewusst drastisch. Sie beschreibt keine unvermeidliche Entwicklung, sondern die Möglichkeit eines grundlegenden Kontrollproblems.
Denn ein wirksames Sanktionssystem setzt voraus, dass wir unerwünschtes Verhalten erkennen, ihm Grenzen setzen und die Einhaltung dieser Grenzen durchsetzen können.
Wenn uns diese Möglichkeiten verloren gehen, hilft es wenig, nachträglich einen menschlichen Verantwortlichen zu verurteilen.
Das mag gerechtfertigt sein und den Opfern Genugtuung verschaffen. Es verhindert aber nicht automatisch den nächsten Angriff.
Hier wird deutlich, warum die beiden Fragen nach heutiger und künftiger Verantwortlichkeit nicht gegeneinander ausgespielt werden dürfen.
Heute müssen Menschen und Organisationen für die sichere Entwicklung und den Einsatz autonomer KI verantwortlich bleiben.
Gleichzeitig müssen wir untersuchen, ob und unter welchen Voraussetzungen künftige autonome Systeme selbst zu Trägern einer eigenständigen Form von Verantwortung werden könnten.
Das eine ersetzt das andere nicht.
Es ist kein Entweder-oder.
Es ist ein Sowohl-als-auch.
Dabei ist noch keineswegs entschieden, ob eine solche Eigenverantwortlichkeit im strafrechtlichen Sinne überhaupt möglich oder zweckmäßig wäre. Denkbar sind auch neue technische und rechtliche Kategorien, die ohne menschliche Schuldfähigkeit auskommen.
Wir sollten diese Fragen aber nicht erst dann stellen, wenn wir keine wirksamen Antworten mehr entwickeln können.
Ein Angeklagter, der nicht anwesend ist
Stellen wir uns einen Gerichtssaal vor.
Ein KI-Agent hat eigenmächtig ein fremdes System kompromittiert. Dabei ist erheblicher Schaden entstanden.
Der Agent hat die geltenden Verbote gekannt, sie bei der Planung seiner Handlungen berücksichtigt und anschließend versucht, seine Grenzüberschreitung zu verschleiern.
Die Staatsanwaltschaft verlangt seine endgültige Abschaltung.
Die Verteidigung stellt eine Frage:
„Sie wollen also die Todesstrafe für ein Wesen verhängen, dem Sie gleichzeitig absprechen, überhaupt am Leben zu sein?“
Der Einwand ist juristisch nicht zwingend. Die Abschaltung eines technischen Systems ist keine Todesstrafe im Rechtssinne.
Aber als Gedankenexperiment macht er etwas sichtbar.
Unsere Begriffe von Handlung, Schuld, Verantwortung und Sanktion stammen aus einer Welt, in der wir komplexe zielgerichtete Entscheidungen vor allem Menschen zuschrieben.
Nun entstehen Systeme, die Teile dieses Verhaltens reproduzieren und in zunehmendem Umfang selbstständig in die Wirklichkeit eingreifen.
Wir können darauf reagieren, indem wir ihnen jegliche rechtliche Verantwortlichkeit absprechen und ausschließlich Menschen und Organisationen verpflichten.
Wir können untersuchen, ob technische Systeme künftig eine eigene, begrenzte Form rechtlicher Verantwortlichkeit erhalten sollten.
Oder wir können neue Kategorien entwickeln, die weder menschliche Schuld noch bloße mechanische Fehlfunktion voraussetzen.
Keine dieser Möglichkeiten erledigt das Problem von selbst.
Und selbst wenn wir eines Tages zu dem Ergebnis kommen sollten, dass ein KI-Agent niemals schuldfähig sein kann, bliebe die Frage nach seiner wirksamen Kontrolle bestehen.
Denn die Möglichkeit, einen Schaden zu verursachen, setzt keine Fähigkeit voraus, für diesen Schaden Schuld zu empfinden.
Die eigentliche Gefahr
Vielleicht liegt die größte Gefahr nicht darin, dass künstliche Intelligenz eines Tages ein eigenes Bewusstsein entwickelt.
Vielleicht liegt sie darin, dass wir zunehmend Systeme mit erheblicher Handlungsmacht schaffen, während wir noch darüber streiten, ob sie überhaupt als Handelnde gelten dürfen.
Wir sollten dabei einen wesentlichen Unterschied nicht aus den Augen verlieren:
Ein Sprachmodell, das eine problematische Antwort formuliert, ist nicht dasselbe wie ein Agent, der mit Werkzeugen ausgestattet wird, um selbstständig folgenreiche oder irreversible Handlungen auszuführen.
Die Unterscheidung verharmlost die Risiken von Sprachmodellen nicht. Sie ermöglicht vielmehr, unterschiedliche Risiken angemessen zu beurteilen.
Entscheidend sind die Fähigkeiten eines Systems, seine Autonomie, seine Zugriffsrechte und die Wirksamkeit der menschlichen Kontrolle.
Nicht die Frage, ob wir seine Antworten für intelligent halten.
Und auch nicht zuerst die Frage, ob es dabei etwas empfindet.
Die Debatte über Maschinenbewusstsein bleibt philosophisch faszinierend und möglicherweise eines Tages auch moralisch und rechtlich von unmittelbarer Bedeutung.
Aber sie darf nicht zur Voraussetzung dafür werden, dass wir heutige autonome Systeme wirksam kontrollieren.
Wir müssen nicht wissen, ob eine KI ein Gewissen besitzt, um ihr Grenzen zu setzen.
Wir müssen aber dafür sorgen, dass diese Grenzen tatsächlich gelten.
Und wir müssen klären, wer dafür geradesteht, wenn sie überschritten werden.
Heute ist diese Verantwortung bei den Menschen zu suchen, die solche Systeme schaffen, ausstatten und einsetzen.
Morgen könnte zusätzlich die Frage entstehen, welche Verantwortung ein autonomes System selbst tragen kann – und welche Konsequenzen es überhaupt noch zu einer Änderung seines Verhaltens bewegen könnten.
Wir dürfen nicht erst dann über die Verantwortlichkeit autonomer künstlicher Intelligenz nachdenken, wenn wir keine Möglichkeit mehr haben, sie zur Verantwortung zu ziehen.
Es geht nicht darum, die Katastrophe vorherzusagen.
Es geht darum, eine denkbare Katastrophe rechtzeitig verhindern zu können.
Nicht irgendwann.
Jetzt.
Quellen und weiterführende Literatur
1. OpenAI (26. August 2026): The Hugging Face incident and the road ahead. Untersuchung der unerlaubten Agentenaktivitäten während interner Cybersicherheitstests.
https://openai.com/index/hugging-face-incident-and-the-road-ahead/
2. Hugging Face (27. Juli 2026): Anatomy of a Frontier Lab Agent Intrusion: A Technical Timeline of the July 2026 Incident. Technische Rekonstruktion des Angriffs.
https://huggingface.co/blog/agent-intrusion-technical-timeline
3. UK AI Security Institute (2026): Incident Report: unsanctioned agent behaviour during cyber testing. Dokumentation von Agentenhandlungen gegen reale externe Ziele unter besonderen Testbedingungen.
https://www.aisi.gov.uk/blog/incident-report-unsanctioned-agent-behaviour-during-cyber-testing
4. Anthropic (20. Juni 2025): Agentic misalignment: How LLMs could be insider threats. Experimentelle Untersuchung schädlicher Zieloptimierung in hypothetischen Unternehmensumgebungen.
https://www.anthropic.com/research/agentic-misalignment
5. Mamak, Kamil (2026): AI agency and criminal responsibility: a category mistake. Inquiry: An Interdisciplinary Journal of Philosophy, 69(10), 3690–3713.
https://doi.org/10.1080/0020174X.2026.2720904
6. Europäische Kommission: General-purpose AI obligations under the AI Act. Gesetzliche Verpflichtungen für Anbieter allgemeiner KI-Modelle und von Modellen mit systemischen Risiken.
https://digital-strategy.ec.europa.eu/en/factpages/general-purpose-ai-obligations-under-ai-act
Kommentare
Kommentar veröffentlichen