GMV analiza los retos de seguridad, gobernanza y validación de la IA agéntica en el Observatorio BIDA

José Carlos Baquero, director de la División de Inteligencia Artificial y Big Data de Secure e-Solutions de GMV, participó en la mesa redonda del Observatorio BIDA organizada por la Asociación Española de Contabilidad y Administración de Empresas (AECA) y la Autoridad Independiente de Responsabilidad Fiscal (AIReF) bajo el título “Agéntica, la IA de los agentes. Un nuevo reto para el gobierno de los datos y de la IA en las empresas”.

El encuentro reunió a expertos del ámbito tecnológico, institucional y empresarial para analizar el impacto de los agentes de inteligencia artificial en las organizaciones, así como los desafíos asociados a su despliegue, supervisión y gobernanza. 

Durante su intervención, José Carlos Baquero abordó uno de los aspectos más relevantes y menos visibles de esta evolución tecnológica: la seguridad y verificabilidad de los sistemas basados en agentes de IA. En este sentido, destacó que estos sistemas ya no se limitan a recomendar o predecir información, sino que actúan de forma autónoma, ejecutando tareas y tomando decisiones en entornos complejos y dinámicos.

Esta nueva capacidad introduce riesgos específicos que afectan directamente al entorno de información consumido por los agentes, entre ellos técnicas de prompt injection indirecto, envenenamiento de bases de conocimiento RAG o jailbreaks embebidos en documentos externos. Amenazas que, tal y como señaló, ya han sido identificadas y documentadas por la comunidad investigadora internacional.

Ante este escenario, GMV defendió la necesidad de evolucionar los modelos tradicionales de aseguramiento hacia procesos continuos de Verificación y Validación (V&V) específicamente diseñados para sistemas no deterministas. A diferencia del software convencional, los agentes de IA pueden generar comportamientos distintos ante las mismas condiciones de entrada, lo que exige nuevos enfoques de testing, monitorización y evaluación continua.

Durante la sesión, en la que intervinieron también expertos de Mapfre y Engie, también se puso de relieve el creciente impulso regulatorio en torno a la inteligencia artificial. En particular, se destacó la relevancia del Reglamento Europeo de IA y el avance de nuevos estándares internacionales para testing, evaluación, verificación y validación de sistemas de IA (TEVV), orientados a garantizar trazabilidad, gestión continua del riesgo y cumplimiento normativo en sistemas de alto impacto.