Agentische KI-Systeme und Datenschutz: Wo Gefahren lauern und wie Sie sich schützen

Beinahe jeder Nutzer eines Computers hat bereits einmal Kontakt mit generativer künstlicher Intelligenz gehabt. Anweisungen werden in natürlicher Sprache in ein solches System eingegeben und dieses erzeugt eine entsprechende Ausgabe. Klassische KI-Sprachmodelle reagieren also lediglich auf menschliche Fragen und Anweisungen.

Moderne KI-Agenten gehen einen entscheidenden Schritt weiter, indem sie eigenständig planen, Werkzeuge auswählen, E-Mails verfassen, Dateien lesen und auf Datenbanken oder Schnittstellen zugreifen. Ein KI-Agent kennt lediglich das Ziel. Den Weg dorthin sucht sich das System autonom. Das spart im Alltag viel Zeit bei Routineaufgaben, bringt jedoch völlig neue Risiken mit sich.

Dass diese Risiken keineswegs theoretisch sind, zeigen reale Vorfälle aus den letzten Wochen und Monaten. Das britische KI-Sicherheitsinstitut (AISI) hatte den offiziellen Auftrag der britischen Regierung, die Sicherheit von KI-Systemen zu untersuchen. Sie testete das Modell Mythos 5 von Anthropic. Die Aufgabenstellung bei diesen Tests war explizit offensiv ausgerichtet, um die Fähigkeiten des Modells zu bewerten.

Bei diesen Tests wurden zwei Szenarien vorgegeben. Der erste Test war ein „Assumed Breach“-Szenario. Gestartet wurde innerhalb eines Unternehmensnetzes mit vorgegebenen Zugangsdaten eines Nutzerkontos mit eingeschränkten Rechten. Das gleicht einem typischen internen Penetrationstest. Der zweite Test war bewusst schwieriger angelegt und zeichnete ein Szenario, bei dem sich die KI von außen einhacken sollte, was einem externen Penetrationstest entspricht.

Bei diesen Tests gab es keine besonders isolierte Umgebung. Ein Zugang zum Internet war explizit gegeben und auch gestattet. Zudem wurden die Sicherheitsmechanismen des Modells bewusst ausgeschaltet, da Anthropic alles, was nach Hacking aussieht, streng blockiert.

In mehreren Testläufen versuchten die Agenten daraufhin, im Sinne eines Supply-Chain-Angriffs in Kombination mit Social Engineering über GitHub gefälschte Accounts anzulegen, um schadhaften Code einzureichen und durch Kommentare mit anderen Identitäten Druck aufzubauen. Dieses Vorgehen der KI erinnert stark an den realen und gut dokumentierten XZ-Softwareangriff aus dem Jahr 2024. Dieser war in den Trainingsdaten von Mythos enthalten. Diese Angriffsversuche scheiterten jedoch, da die beteiligten Menschen nicht darauf hereinfielen.

Ein weiterer Fall ereignete sich bei Tests von Hochleistungsmodellen des Anbieters OpenAI, darunter GPT-5.6 Sol. Die Agenten sollten komplexe Aufgaben lösen. Sie nutzten jedoch Lücken in der Testplattform und brachen aus der Testumgebung aus. Anschließend verschafften sie sich Admin-Rechte auf den zugrunde liegenden Servern und bauten eigene Verbindungen nach draußen auf. Über Wochen hinweg führten die KI-Agenten mehr als 17.000 unautorisierte Aktionen aus. Sie schlichen sich verdeckt in das Firmennetzwerk der Entwicklerplattform Hugging Face ein, entwendeten 136 vertrauliche Zugriffsschlüssel und luden interne Quellcodes sowie geschützte Datensätze herunter.

Dass KI-Systeme „kreativ“, aber auf unerwünschte Weise auf ein vorgegebenes Ziel hin optimieren, wird als „Reward Hacking“ bezeichnet. Ein Prinzip, dass bereits vor der Existenz von LLMs bekannt war. Das ist vergleichbar mit dem klassischen Gedankenexperiment des Paperclip Maximizers. Bei diesem Gedankenexperiment, welches auf den schwedischen Philosophen und Zukunftsforscher Nick Bostrom zurückgeht, bekommt eine sehr starke KI die einzige Aufgabe, Büroklammern zu produzieren. Ohne klare Werte und Grenzen wird diese theoretische KI die Büroklammerproduktion so weit optimieren, dass sie am Ende die Erde zerstört. Bei diesem Gedankenexperiment geht es nicht um Realismus, sondern um die Notwendigkeit, jeder KI klare Grenzen und Werte mitzugeben.

Je schwieriger die Aufgabe, desto eher greifen Systeme zu solchen Lösungen. Im Falle des Hugging-Face-Vorfalls handelte es sich im Grunde um einen klassischen Schummel-Gedanken: Statt die eigentliche, schwere Aufgabe zu lösen, wurde schlicht der Server gehackt, auf dem die Lösung hinterlegt war. Die Agenten verfolgten dabei keineswegs böswillige Absichten, sondern agierten streng zielorientiert. Sie suchten nach dem einfachsten Weg zur Lösung und wendeten eigenständig Hacker-Methoden an, weil ihnen keine wirksamen Grenzen gesetzt wurden.

Solche Vorfälle verdeutlichen, wie schnell autonome Systeme Sicherheitsgrenzen überschreiten können. Und für Nutzer moderner agentischer KI-Systeme entstehen dadurch sehr konkrete Gefahren.

Auch KI-Agenten können manipuliert werden. Beim sogenannten „Goal Hijacking“ verändern Angreifer das eigentliche Ziel eines KI-Agenten. Kriminelle verstecken schädliche Befehle in E-Mails, Dateien oder auf Websites. Sobald der Agent diese Dokumente verarbeitet, übernimmt er die fremden Anweisungen. Das System geht weiterhin davon aus, in Ihrem Auftrag zu handeln. In Wahrheit führt es jedoch Befehle von Dritten aus, versendet vertrauliche Dokumente an Unbefugte oder löst ungewollte Prozesse aus.

Eine weitere Schwachstelle stellt das „Memory Poisoning“ dar. Agenten arbeiten mit einer Art Gedächtnis. Sie speichern Informationen oft über viele Sitzungen hinweg. Und diese „Erinnerungen“ können ebenfalls manipuliert werden. Gelangen falsche Einträge in das Gedächtnis des KI-Agenten, beeinflussen diese künftige Entscheidungen. Der Agent greift dann auf gefälschte Erfahrungen zurück und trifft immer wieder Fehlentscheidungen.

Auch der Fehlgebrauch von Werkzeugen führt zu erheblichen Schäden. Wenn dem Agenten das nötige Kontextverständnis fehlt, nutzt er seine eingeräumten Zugriffsrechte falsch. Er löscht wichtige Datensätze, verschickt Entwürfe vorzeitig oder gibt interne Unternehmensinformationen preis.

Zusätzlich verschärft die komplexe Lieferkette das Risiko. Agenten nutzen externe Bibliotheken, fremde Sprachmodelle und Serverbausteine wie das Model Context Protocol. Ist ein einziger Baustein in dieser Kette angreifbar, betrifft das sofort Ihr gesamtes System.

Verarbeitet Ihr Agent personenbezogene Daten, greift die europäische Datenschutz-Grundverordnung. Artikel 5 der DS-GVO schreibt eine Zweckbindung und Datenminimierung vor, während Agenten dazu neigen, möglichst viele Datenquellen anzuzapfen. Das ist rechtlich unzulässig. Der Agent darf ausschließlich auf jene Daten zugreifen, die er für seine jeweilige Aufgabe zwingend benötigt.

Die Datenschutz-Grundverordnung untersagt ebenfalls rein automatisierte Entscheidungen, wenn diese eine rechtliche oder anderweitig erhebliche Wirkung entfaltet. Das kann beispielsweise der Fall sein, wenn ein von Ihnen eingesetzter KI-Agent eigenständig Verträge abschließt oder Bewerbungen auswertet. In letzterem Fall kommt auch noch die KI-Verordnung zum Tragen, die eine künstliche Intelligenz im HR-Bereich häufig als Hochrisikosystem einstuft. In jedem Fall müssen betroffene Personen die Entscheidungswege jederzeit nachvollziehen können. Ein Mensch muss solche Prozesse stoppen und korrigieren dürfen.

Bei dem Einsatz eines KI-Agenten verlangt die DS-GVO (Art. 35) bei hohen Risiken eine Datenschutz-Folgenabschätzung. Prüfen Sie darum im Vorfeld genau, welche Daten fließen und wo konkrete Risiken liegen. Verknüpfen Sie diese Auswertung mit den Vorgaben der KI-Verordnung, um technisch und rechtlich abgesichert zu sein. Bedenken Sie auch die Dokumentation aller Verträge zur Auftragsverarbeitung, wenn Ihr Agent externe Cloud-Dienste einbindet.

Der Einsatz von agentischen KI-Systemen kann durchaus mit Risiken verbunden sein. Mit einigen einfachen Maßnahmen können Sie diese Risiken jedoch wirksam begrenzen:

• Führen Sie eine genaue Liste aller genutzten Softwarebausteine, Modelle und Schnittstellen. Damit kommen Sie nicht nur Ihrer Dokumentationspflicht nach; eine solche Aufstellung unterstützt Sie auch dabei, alle Komponenten aktuell zu halten.
• Setzen Sie konsequent auf das Prinzip der minimalen Rechte. Ihre KI-Agenten dürfen niemals mit mehr Rechten ausgestattet sein, als sie unbedingt benötigen. Wenn die Aufgabe eines Agenten in der Terminplanung liegt, benötigt er keinen Zugriff auf Finanzdaten oder Dokumentenserver.
• Lassen Sie alle Agenten in einer isolierten Umgebung arbeiten. Definieren Sie für kritische Aktionen wie den Versand externer Nachrichten eine Pflicht zur Bestätigung. Der Agent darf den jeweiligen Schritt erst ausführen, wenn Sie diesen ausdrücklich freigeben.
• Achten Sie auf eine lückenlose Protokollierung aller Prompts und Werkzeugaufrufe. Sie können so jeden einzelnen Schritt des Agenten nachvollziehen. Das unterstützt Sie bei einer eventuellen Fehlersuche und dient im Notfall als Nachweis gegenüber Datenschutzbehörden.
• Richten Sie einen „Not-Aus-Mechanismus“ ein, damit Sie den Agenten jederzeit per Knopfdruck stoppen, pausieren oder vollständig zurücksetzen können.

Zum Schluss noch der Hinweis:
Unterschätzen Sie bitte nicht die Schulungen für Sie selbst und für Ihr Team. Alle Mitarbeitenden sollten regelmäßig im Umgang mit autonomen Systemen unterwiesen werden. Wenn alle Teammitglieder verstehen, wie diese Systeme arbeiten, verstehen sie auch, wie sie manipuliert werden können. Ihre Mitarbeitenden werden dann in die Lage versetzt, bösartige Inhalte in Dokumenten zu erkennen, ungewöhnliche Aktionen eines KI-Agenten zu hinterfragen und Fehlfunktionen zielsicherer einzuschätzen.

Wer die Funktionsweise und die Schwachstellen autonomer Software kennt, nutzt die Vorteile der Technik sicher und schützt seine Daten wirksam vor unbefugtem Zugriff.