GMV analysiert die Herausforderungen in den Bereichen Sicherheit, Governance und Validierung agentischer KI im BIDA-Observatorium

José Carlos Baquero, Direktor der Abteilung Künstliche Intelligenz und Big Data von Secure e-Solutions bei GMV, nahm an der Podiumsdiskussion des BIDA-Observatoriums teil, die von der Spanischen Vereinigung für Rechnungswesen und Unternehmensführung (Asociación Española de Contabilidad y Administración de Empresas (AECA)) sowie der Unabhängigen Behörde für Fiskalverantwortung (Autoridad Independiente de Responsabilidad Fiscal (AIReF)) unter dem Titel „Agentische KI – die KI der Agenten“ (Agéntica, la IA de los agentes) organisiert wurde. Eine neue Herausforderung für die Governance von Daten und Künstlicher Intelligenz in Unternehmen“.

Die Veranstaltung brachte Fachleute aus den Bereichen Technologie, Institutionen und Wirtschaft zusammen, um die Auswirkungen von KI-Agenten auf Organisationen sowie die Herausforderungen im Zusammenhang mit deren Einführung, Überwachung und Governance zu analysieren. 

Während seines Beitrags ging José Carlos Baquero auf einen der wichtigsten und zugleich weniger sichtbaren Aspekte dieser technologischen Entwicklung ein: die Sicherheit und Überprüfbarkeit von auf KI-Agenten basierenden Systemen. In diesem Zusammenhang betonte er, dass sich diese Systeme nicht mehr darauf beschränken, Informationen zu empfehlen oder vorherzusagen, sondern autonom handeln, Aufgaben ausführen und Entscheidungen in komplexen und dynamischen Umgebungen treffen.

Diese neue Funktion bringt spezifische Risiken mit sich, die sich direkt auf die von den Agenten genutzte Informationsumgebung auswirken, darunter Techniken der indirekten Prompt-Injection, das Vergiften von RAG-Wissensdatenbanken oder in externe Dokumente eingebettete Jailbreaks. Wie er erläuterte, wurden diese Bedrohungen bereits von der internationalen Forschungsgemeinschaft identifiziert und dokumentiert.

Angesichts dieses Szenarios sprach sich GMV dafür aus, traditionelle Ansätze der Qualitätssicherung weiterzuentwickeln und auf kontinuierliche Verifizierungs- und Validierungsprozesse (V&V) zu setzen, die speziell für nicht deterministische Systeme konzipiert sind. Im Gegensatz zu herkömmlicher Software können KI-Agenten bei denselben Eingabebedingungen unterschiedliche Verhaltensweisen zeigen, was neue Ansätze beim Testen, Überwachen und bei der kontinuierlichen Bewertung erfordert.

Während der Veranstaltung, an der auch Fachleute von Mapfre und Engie teilnahmen, wurde zudem die zunehmende regulatorische Dynamik im Bereich der Künstlichen Intelligenz hervorgehoben. Insbesondere wurde die Bedeutung der europäischen KI-Verordnung (AI Act) sowie die Entwicklung neuer internationaler Standards für das Testing, die Evaluierung, Verifizierung und Validierung von KI-Systemen (TEVV) hervorgehoben. Diese sollen die Nachvollziehbarkeit, ein kontinuierliches Risikomanagement und die Einhaltung regulatorischer Anforderungen bei KI-Systemen mit hohem Einfluss sicherstellen.