Die dunkle Seite der KI-Agenten: Macht ohne Kontrolle

KI-Agenten haben sich schneller verbreitet, als unsere Fähigkeit, die Kontrolle über sie auszuüben. .

Eine SailPoint-Studie zeigt, dass 82 % der Unternehmen in der Produktion bereits KI einsetzen, aber nur 44 % über dokumentierte Richtlinien verfügen, in denen festgelegt ist, was sie operativ tun dürfen und wo ihre Grenzen liegen. Die Ergebnisse sind in der Praxissichtbar: Bei 80 % der Einsätze sind nicht vorhergesehene Aktionen zu verzeichnen und 23 % geben  in Protokollen oder Fehlermeldungen Anmeldedaten preis . Dies sind keine Einzelfälle, sondern Symptome eines Betriebsmodells, das nicht mit der Technologie Schritt gehalten hat.

Der strukturelle Unterschied zu herkömmlichen Chatbots ist einfach: Agenten reagieren nicht nur, sie handeln. Sie führen authentifizierte API-Aufrufe durch, verwenden Dienstkonten und Token mit weitreichenden Privilegien und umgehen Kontrollen, die für Menschen gedacht sind, wie Multi-Faktor-Authentifizierung (MFA), DLP für E-Mails oder manuelle Genehmigungen. Ein Kundendienstagent kann Daten lesen und ändern, ohne einen Überwachungsmechanismus auszulösen; ein DevOps-Agent kann CI/CD-Kanäle mit wenig oder gar keiner direkten Überwachung verwalten.

In diesem neuen Aktionsbereich eröffnen sich Angriffsmöglichkeiten ohne menschliche Interaktion. Auf der Black Hat USA 2025 führte Zenity so zum Beispiel klicklose Exploit-Ketten gegen Unternehmenagenten vor. Bei Microsoft Copilot Studioreichte dabei eine einzige Trap-Datei aus einer eingebetteten Quelle - wie SharePoint bzw. eine E-Mail-Einladung - aus, um versteckte Anweisungen einzuschleusen. Als der Agent diesen Inhalt dann verarbeitete, interpretierte er den Text als Befehle, umging die Hürden der Eingabeaufforderungen und listete mit Hilfe gültiger Anmeldeinformationen Konnektoren auf und extrahierte CRM-Datensätze und zwar ohne einen einzigen Klick.

Sich mit diesem Risiko auseinanderzusetzen, bedeutet , bedeutet nicht, die Einführung zu verlangsamen, sondern Agenten als privilegierte Identitäten zu behandeln und ihren Lebenszyklus vollständig zu managen: Authentifizierung mit regelmäßiger Rotation, ein gepflegtes Inventar von Agenten mit einem definierten Besitzer, einem klaren Zweck und einem vorher bestimmten Datum zur Deaktivierung und außerdem auch  Break-Glass-Verfahren, um Anmeldedaten schnell zu widerrufen, wenn etwas schief läuft.

Auch die Möglichkeiten zur Beobachtung müssen sich weiterentwickeln. Es reicht nicht aus, das Endergebnis zu erfassen, sondern wir müssen auch die Entscheidungskette festhalten : welche Tools wurden mit welchen Parametern aufgerufen, welche Werte wurden zurückgegeben und wie führten sie zur nächsten Aktion. Mit dieser Transparenz können Unternehmen einen Grundstock an Verhaltensweisen für jeden Agenten erstellen; davon ausgehend ermöglicht eine Verhaltensprofilierung dann die frühzeitige Erkennung von Abweichungen, bevor sie zu Vorfällen werden.

Die wirksamsten Kontrollen liegen außerhalb des Modells: Ratenbegrenzung, um massives Data Mining zu verhindern, Netzwerksegmentierung, um laterale Bewegungen einzuschränken, und Genehmigungs-Tokens für sensible Vorgänge wie Massen-Upgrades, Zahlungen oder destruktive Aktionen. Wann immer möglich, sollten Schutzbarrieren auf der Ausführungsreihenfolge - APIs, Warteschlangen, Gateways - und nicht nur auf der Anforderungsebene eingesetzt werden.

Auch das Betriebsmodell muss angepasst werden: Risikoprüfungen vor der Produktion, agentenbezogene Penetrationstests (einschließlich indirekter Injektionsszenarien) und eine klare Trennung von Umgebungen sowie Governance-Metriken, die wirklich von Bedeutung sind, wie z. B. die durchschnittliche Zeit bis zum Widerruf, der Prozentsatz der Agenten mit einem identifizierten Eigentümer, das durchschnittliche Alter der Geheimnisse und die Abdeckung des Entscheidungsprotokolls. Ohne diese grundlegenden Kontrollen verstärkt die Automatisierung Fehler und vervielfacht ihre Auswirkungen.

Der Wettbewerbsdruck wird Agenten unvermeidlich machen, und wenn sie diszipliniert eingesetzt werden, sind sie wirklich gewinnbringend. Gartner schätzt, dass 40 % dieser Projekte bis 2027 aus Kostengründen, wegen mangelnder Klarheit über den Geschäftswert und schwacher Risikokontrollenscheitern werden . Das Problem ist nicht die Technologie, sondern ihre Beherrschung, die Agenten als hoch privilegierte Software behandelt, die mit Produktionsberechtigungen arbeitet. Mit klaren Regeln bieten sie Schnelligkeit, ohne Schwachstellen zu schaffen; ohne Disziplin führen sie zu Schatten-KI, die gefährlicher ist als jedes nicht autorisierte Tool, weil sie legitim in Ihren eigenen Systemen arbeitet.

João Sequeira, Direktor für Secure e-Solutions bei GMV in Portugal

*Dieser Artikel wurde zuerst in IT Securityveröffentlicht.