GMV analysiert die Herausforderungen in den Bereichen Sicherheit, Governance und Validierung agentischer KI im BIDA-Observatorium

José Carlos Baquero, Direktor der Abteilung Künstliche Intelligenz und Big Data von Secure e-Solutions von GMV, nahm an der Podiumsdiskussion des BIDA-Observatoriums teil. Die Veranstaltung wurde von der Spanischen Vereinigung für Rechnungswesen und Unternehmensführung (Asociación Española de Contabilidad y Administración de Empresas (AECA)) sowie der Unabhängigen Behörde für Fiskalverantwortung (Autoridad Independiente de Responsabilidad Fiscal (AIReF))unter dem Titel „Agentische KI – die KI der Agenten“ (Agéntica, la IA de los agentes) organisiert. Eine neue Herausforderung für die Governance von Daten und Künstlicher Intelligenz in Unternehmen“.

Die Veranstaltung brachte Fachleute aus Technologieund Wirtschaft zusammen, um die Auswirkungen von KI-Agenten auf Organisationen sowie die Herausforderungen im Zusammenhang mit ihrer Einführung, Überwachung und Governance zu analysieren. 

Während seines Beitrags ging José Carlos Baquero auf einen der zentralen und zugleich weniger sichtbaren Aspekte dieser technologischen Entwicklung ein: die Sicherheit und Überprüfbarkeit von auf KI-Agenten basierenden Systemen. In diesem Zusammenhang betonte er, dass sich diese Systeme nicht mehr darauf beschränken, Informationen zu empfehlen oder vorherzusagen, sondern autonom handeln, Aufgaben ausführen und Entscheidungen in komplexen und dynamischen Umgebungen treffen.

Diese neue Handlungsfähigkeit bringt spezifische Risiken mit sich, die sich direkt auf die von den Agenten genutzte Informationsumgebung auswirken. Dazu zählen  Techniken der indirekten Prompt-Injection, die Manipulation von RAG-Wissensdatenbanken sowie in externe Dokumente eingebettete Jailbreak-Angriffe. Wie Boquero erläuterte, wurden diese Bedrohungen bereits von der internationalen Forschungsgemeinschaft identifiziert und dokumentiert.

Vor diesem Hintergrund sprach sich GMV dafür aus, klassische  Ansätze der Qualitätssicherung weiterzuentwickeln und auf kontinuierliche Verifizierungs- und Validierungsprozesse (V&V) zu setzen, die speziell auf nicht deterministische Systeme zugeschnitten sind. Im Gegensatz zu herkömmlicher Software können KI-Agenten selbst bei identischenEingabebedingungen unterschiedliche Verhaltensweisen zeigen. Dies erfordert neue Methoden für Tests, Überwachung und die kontinuierlichen Bewertung solcher Systeme.

Im Rahmen der Veranstaltung, an der auch Fachleute von Mapfre und Engie teilnahmen, wurde zudem die zunehmende regulatorische Dynamik im Bereich der Künstlichen Intelligenz hervorgehoben. Besondere Aufmerksamkeit galt dabei der europäischen KI-Verordnung (AI Act) sowie der Entwicklung neuer internationaler Standards für das Testen, Evaluieren, Verifizieren und Validieren von KI-Systemen (TEVV). Diese sollen die Nachvollziehbarkeit, ein kontinuierliches Risikomanagement und die Einhaltung regulatorischer Anforderungen bei KI-Systemen mit hohem Einfluss sicherstellen.