GMV analitza els reptes de seguretat, governança i validació de la IA agèntica a l’Observatori BIDA

José Carlos Baquero, director de la Divisió d’Intel·ligència Artificial i Big Data de Secure e-Solutions de GMV, va participar en la taula rodona de l’Observatori BIDA organitzada per l’Associació Espanyola de Comptabilitat i Administració d’Empreses (AECA) i l’Autoritat Independent de Responsabilitat Fiscal (AIReF) sota el títol «Agéntica, la IA de los agentes. Un nuevo reto para el gobierno de los datos y de la IA en las empresas».

La trobada va aplegar experts dels àmbits tecnològic, institucional i empresarial per analitzar l’impacte dels agents d’intel·ligència artificial en les organitzacions, així com els desafiaments associats al seu desplegament, supervisió i governança. 

Durant la intervenció, José Carlos Baquero va abordar un dels aspectes més rellevants i menys visibles d’aquesta evolució tecnològica: la seguretat i verificabilitat dels sistemes basats en agents d’IA. En aquest sentit, va destacar que aquests sistemes ja no es limiten a recomanar o predir informació, sinó que actuen de manera autònoma, executant tasques i prenent decisions en entorns complexos i dinàmics.

Aquesta nova capacitat introdueix riscos específics que afecten directament l’entorn d’informació consumit pels agents, entre els quals tècniques de prompt injection indirecte, enverinament de bases de coneixement RAG o jailbreaks incrustats en documents externs. Amenaces que, tal com va assenyalar, ja han estat identificades i documentades per la comunitat investigadora internacional.

Amb aquest escenari, GMV va defensar la necessitat de fer evolucionar els models tradicionals d’assegurament cap a processos continus de Verificació i Validació (V&V) específicament dissenyats per a sistemes no deterministes. A diferència del programari convencional, els agents d’IA poden generar comportaments diferents davant les mateixes condicions d’entrada, la qual cosa exigeix nous enfocaments de testing, monitoratge i avaluació contínua.

Durant la sessió, en la qual van intervenir també experts de Mapfre i Engie, també es va posar en relleu el creixent impuls regulador al voltant de la intel·ligència artificial. En particular, es va destacar la rellevància del Reglament Europeu d’IA i l’avenç de nous estàndards internacionals per a testing, avaluació, verificació i validació de sistemes d’IA (TEVV), orientats a garantir la traçabilitat, la gestió contínua del risc i el compliment normatiu en sistemes d’alt impacte.