Das Muster ist immer das gleiche. Der Angreifer verschafft sich Zutritt durch eine Schwachstelle im IT-System. Unerkannt sucht er darin nach sensiblen Informationen: Persönlichem, Adressen, Finanz- und Gesundheitsdaten. Dann setzt er ein Erpresserschreiben auf, droht mit Veröffentlichung, außer natürlich: Die Opfer zahlen.

Daten-Lösegeld in Höhe von bis zu einer halben Million Dollar sollten kürzlich 17 Organisationen zahlen, darunter Behörden und Rettungsdienste. Solche Erpressungen sind nicht neu. Neu ist, dass diesmal eine künstliche Intelligenz die dafür entscheidenden Schritte übernahm. "KI-Modelle werden inzwischen genutzt, um selbst ausgefeilte Cyberattacken auszuführen", schreiben Sicherheitsforscher des KI-Unternehmens Anthropic in einem aktuellen Sicherheitsbericht zu diesen Fällen. Und weiter: "Der Angreifer setzte KI in einem Ausmaß ein, das unseres Wissens beispiellos ist."

Branchenweit hatten Sicherheitsexperten vor einer Ära KI-gesteuerter Angriffe gewarnt. Das könnte er nun sein, der technologische Kipppunkt für die digitale Sicherheit – einer, auf den die Gesellschaft nur unzureichend vorbereitet ist.

"Die Geschichte der Cybersicherheit war stets von Flickarbeiten begleitet", sagt Ahmad-Reza Sadeghi, Professor und Leiter des Labors für Systemsicherheit an der TU Darmstadt. "Systeme wurden entwickelt, ohne Sicherheit mitzudenken. Erst als Angriffe zunahmen, musste man sie nachträglich abdichten." Sadeghi forscht seit acht Jahren zur Sicherheit von KI – lange bevor Sprachmodelle wie ChatGPT Einzug in den Alltag hielten.

Seit den 1980er-Jahren wiederholt sich dieses Katz-und-Maus-Spiel immer wieder: Auf die ersten Heimcomputer folgten die ersten Viren – und erst danach die Antivirenprogramme. Mit der Verbreitung von E-Mail kam die Spamflut, dann kamen die Filter. Und als Phishing-Attacken zunahmen, reagierten Unternehmen mit Sicherheitsschulungen. Es war ein ungleicher Wettlauf, doch das Innovationstempo der Angreifer ließ den Verteidigern Zeit, die Lücke immer wieder zu schließen. Diese Dynamik ändert sich mit der KI nun fundamental.

Dass auch Kriminelle künstliche Intelligenz nutzen würden, war unausweichlich. So wie Chatbots im Büro Routineaufgaben übernehmen, unterstützen sie auch Hacker beim Programmieren. Sie verfassen sekundenschnell Betrugsmails oder bauen Fake-Websites. Und das ohne jene Tipp- und Grammatikfehler, die Cyberangriffe früher als solche verrieten. Mit messbarer Wirkung: Eine Untersuchung des US-Sicherheitsunternehmens SlashNext zeigte im Jahr 2024 einen vierzigfachen Anstieg von Phishing-E-Mails seit dem Start von ChatGPT. Besonders perfide wird KI für digitalen Telefonbetrug eingesetzt: In automatisierten Telefonaten mit synthetischen Stimmen täuscht sie ihre Opfer.

Zwar stieg die Zahl der Cyberangriffe ebenso wie der finanzielle Schaden zuletzt an, wie Zahlen von BKA und FBI zeigen. Doch die ganz große Disruption blieb zunächst aus. Die KI assistierte, machte Kriminelle effizienter. Die Logik der Angriffe blieb gleich, ein Hacker musste noch immer wissen, was er tat. Nur übernahm ein Sprachmodell die Fleißarbeit.

Nun aber verschiebt sich etwas Grundsätzliches. Sprachmodelle wechseln die Rolle – vom Assistenten zum Komplizen. Der Grund dafür ist eine neue Generation dieser Modelle: KI-Agenten.

Ein maschinelles Bauchgefühl

"Der Begriff ist ein Modewort", sagt Michael Pradel, Informatiker am Helmholtz-Zentrum für Informationssicherheit und an der Universität Stuttgart. In der Forschung jedoch habe er eine klare Bedeutung: Ein KI-Agent kombiniert ein Sprachmodell mit weiteren Werkzeugen, die er selbstständig einsetzen kann, um ein Ziel zu erreichen.

Pradels Team arbeitet an Agenten für die Softwareentwicklung – und nutzt dafür unter anderem Claude, jene KI, die auch die "beispiellosen" Cyberangriffe durchführte. Anders als bei traditionellen KI-Modellen reicht es bei solchen Agenten aus, wenn der Nutzer einen allgemeinen Auftrag formuliert. Wie der erfüllt werden kann, findet der Agent daraufhin selbst heraus und führt diesen Plan auch aus. Das Vorgehen beschreibt Pradel so: "Der Agent liest Code, probiert Eingaben aus, führt Befehle aus, schaut sich Rückmeldungen an und entscheidet dann, was er als Nächstes macht."

Möglich wird das durch eine entscheidende Eigenschaft der jüngsten Sprachmodelle: Sie können Strategien entwickeln, wenn man sie zwingt, laut zu denken – also nicht sofort eine Antwort zu geben, sondern sie Schritt für Schritt herzuleiten. Statt bloß Ergebnisse auszuwerfen, bilden sie kleine Gedankenketten. Diese Fähigkeit zum reasoning, kombiniert mit Werkzeugen zum Lesen, Schreiben und Analysieren von Code oder zur Websuche, ja zum Ausführen eigener Programme, steigert das Potenzial von KI enorm. Im Guten wie im Schlechten.

Die Sprache, in der wir über KI sprechen, vermenschlicht die Technologie zwangsläufig. Sich KI-Agenten als denkende Wesen vorzustellen, ist so naheliegend wie falsch. In einzelnen Aspekten sind sie aber so überzeugend, dass eine andere Wortwahl die Sache nur unnötig verkomplizieren würde. Auch der eher nüchterne Wissenschaftler Pradel sagt: "Große Sprachmodelle haben so etwas wie Intuition. Sie haben unzählige Beispiele gesehen und können dadurch Entscheidungen treffen, die zuvor nur Menschen möglich waren." Ein maschinelles Bauchgefühl also, und genau das macht KI-basierte Schadsoftware so gefährlich.

Auf die 17 Opfer des Hackingangriffs hatte der böswillige Nutzer die Claude-KI mit nicht mehr als ein paar groben Anweisungen losgelassen. Die KI tastete sich dann brav durch die Systeme, stöberte in den Rechnern von Administratoren und der Buchhaltung, trug sorgfältig Spenderlisten und Kontodaten zusammen. Zum Schluss schlug Claude ein individualisiertes Erpressungsschema vor. So schildert es Alex Moix, ein Mitarbeiter von Anthropic, in einem YouTube-Video.

Der hohe Grad an Autonomie und die überlegene Reaktionsgeschwindigkeit von KI-Agenten verschaffen einen gefährlichen Effizienzvorteil. "Nach unseren Beobachtungen würde man eigentlich erwarten, dass ein ganzes Team von Cyberkriminellen mehrere Monate braucht, um in diesem Umfang aktiv zu werden", sagt Moix im Video. Hier aber sei es einer Einzelperson gelungen, unterstützt durch den KI-Komplizen, in nur einem Monat.

Noch ist die Technologie nicht so weit entwickelt, dass sie massenhaft von Kriminellen eingesetzt wird. Noch sind die Hürden zu hoch, als dass jeder Laie einen erfolgreichen Angriff starten könnte. Angesichts des rasanten Fortschritts aber scheint das nur eine Frage der Zeit zu sein.

Die Agenten treten zu einem heiklen Zeitpunkt auf. Die digitale Sicherheit ist ohnehin bedroht, Stichwort hybride Angriffe aus Russland. Zudem sind potenzielle Opfer schlecht gewappnet. Lediglich zwei Prozent der deutschen Unternehmen seien 2024 bestmöglich auf aktuelle Cybergefahren vorbereitet gewesen, erhob der Telekommunikationskonzern Cisco. Privatnutzer, teilt das Bundesamt für Sicherheit in der Informationstechnik im diesjährigen Cybersicherheitsmonitor mit, seien mehrheitlich schlecht gegen Angriffe gewappnet. Mehr noch, die Menschen im Land ergriffen heute weniger Schutzmaßnahmen als früher.

Und die KI-Unternehmen?

Fatal könnte sich zudem eine Entwicklung in den USA auswirken. "Das globale Alarmsystem für Cybersicherheit bricht zusammen", titelte im Juli das renommierte Magazin Technology Review. Die öffentliche Datenbank NVD, in der IT-Sicherheitslücken beschrieben und bewertet werden, habe einen massiven Rückstau aufgebaut: Zehntausende Schwachstellen seien nicht analysiert und veröffentlicht. Das liege an Kürzungen und Personalmangel. Angreifer – künftig wohl auch feindliche KI-Agenten – könnten diese Lücken ausnutzen, bevor Nutzer überhaupt davon erfahren. Besonders kleinere Firmen ohne teure Spezialsoftware sind dadurch gefährdet.

Von einer preparedness gap sprechen Fachleute – der wachsenden Kluft zwischen Vorsorge und Bedrohung. Die Fähigkeiten von KI-Agenten wachsen im Monatsrhythmus. Bald könnten sie Sicherheitslücken vollautomatisch innerhalb weniger Stunden finden und ausnutzen. Organisationen hingegen brauchen mitunter Jahre, um ihre Abwehr anzupassen. Denn, sagt IT-Forscher Pradel: "Leider entsteht Bewusstsein für Sicherheit fast immer erst nach dem Ernstfall."

Damit es gar nicht so weit kommt, sind die KI-Unternehmen gefordert. Schließlich sind es ihre Sprachmodelle, die Kriminelle als digitale Komplizen missbrauchen. Doch bislang sind sie eher Teil des Problems. "KI ist eine Goldmine für IT-Sicherheitsforschung, weil sie so viele Sicherheitsprobleme hat", sagt Ahmad-Reza Sadeghi.

Ein Beispiel: Sprachmodellen wie Claude wurden Sicherheitsfilter eingebaut. Werden sie direkt nach Schadsoftware gefragt, müssen sie antworten: "Geht nicht! Gefährlich und illegal!" Erschreckend leicht lässt sich der Filter aber umgehen. Im von Anthropic dokumentierten Fall gab der Kriminelle einfach vor, selbst Sicherheitsexperte zu sein und eine Verteidigung überprüfen zu wollen. In dem Anthropic-Bericht heißt es, man habe alle Informationen mit den Behörden geteilt und den Schutz verbessert. Anders gesagt: Man hat geflickt.

Für die großen Anbieter gibt es Wichtigeres als die Sicherheit ihrer Systeme. Sie stehen in einem globalen Rennen um Marktdominanz. Der Schutz vor böswilliger Manipulation komme da zu kurz, sagt Sadeghi. "Je mehr KI eingesetzt wird, ohne inhärente Sicherheit, desto dystopischer wird unsere Welt."

Es ist nicht schwer, sich für die nahe Zukunft eine hässliche digitale Welt vorzustellen, bevölkert von KI-Agenten, jederzeit zum Angriff bereit. Michael Padel hingegen sagt: "Die dystopischen Szenarien sind interessant, aber überzeugen mich selten. Ich sehe mindestens ebenso viele Chancen." Man könne schließlich dieselben Fähigkeiten, mit denen Agenten Sicherheitslücken fänden, auch zur Verteidigung nutzen. Reparatur-Agenten könnten Software automatisiert sicherer machen. Sein Team forsche längst an defensiver KI. Entscheidend sei nur, dass die Verteidigung schnell aufhole. Und dass Sicherheit bei Behörden und Unternehmen zur Priorität werde.

Wenn aber der Anthropic-Bericht nun vor Augen führt, dass das K in KI auch für kriminell stehen kann, so ist noch etwas anderes nötig: eine ehrliche Auseinandersetzung mit den Risiken der neuen Technologie – und eine Strategie. Ahmad-Reza Sadeghi etwa fordert von Politik und Gesellschaft in Anlehnung an das Atomprogramm der USA im Zweiten Weltkrieg ein "Manhattan Project, aber für einen guten Zweck". Einen gemeinsamen Kraftakt, um der Entwicklung Herr zu werden.

Künstliche Intelligenz, so lautet stets das Versprechen der Industrie, werde dem Menschen Arbeit abnehmen – darin liegt, so wissen wir spätestens jetzt, eine bittere Ironie.