A GMV discute os desafios de segurança, governação e validação da IA agêntica no Observatório BIDA

José Carlos Baquero, Diretor da Divisão de Inteligência Artificial e Big Data de Secure e-Solutions da GMV, participou na mesa redonda do Observatório BIDA organizada pela Associação Espanhola de Contabilidade e Administração de Empresas (AECA) e a Autoridade Independente de Responsabilidade Fiscal (AIReF) sob o título «Agêntica, a IA dos agentes. Um novo desafio para a governação de dados e da IA nas empresas»

O encontro reuniu especialistas das áreas tecnológica, institucional e empresarial para analisar o impacto dos agentes de inteligência artificial nas organizações, bem como os desafios associados à sua implementação, supervisão e governação. 

Durante a sua intervenção, José Carlos Baquero abordou um dos aspetos mais relevantes e menos visíveis desta evolução tecnológica: a segurança e a verificabilidade dos sistemas baseados em agentes de IA. A este respeito, sublinhou que estes sistemas já não se limitam a recomendar ou prever informações, mas atuam de forma autónoma, executando tarefas e tomando decisões em ambientes complexos e dinâmicos.

Esta nova capacidade introduz riscos específicos que afetam diretamente o ambiente de informação consumido pelos agentes, incluindo técnicas de prompt injection indireto, envenenamento de bases de conhecimentos RAG ou jailbreaks incorporados em documentos externos. Ameaças que, como salientou, já foram identificadas e documentadas pela comunidade internacional de investigadores.

Neste contexto, a GMV defendeu a necessidade de fazer evoluir os modelos tradicionais de garantia para processos contínuos de Verificação e Validação (V&V) especificamente concebidos para sistemas não determinísticos. Ao contrário do software convencional, os agentes de IA podem gerar comportamentos diferentes sob as mesmas condições de entrada, o que exige novas abordagens de teste, monitorização e avaliação contínua.

A sessão, que também contou com a participação de especialistas da Mapfre e da Engie, destacou igualmente a crescente dinâmica regulamentar em torno da inteligência artificial. Em particular, destacou-se a relevância do Regulamento Europeu sobre IA e o avanço de novas normas internacionais para o teste, avaliação, verificação e validação de sistemas de IA (TEVV), destinadas a assegurar a rastreabilidade, a gestão contínua dos riscos e a conformidade regulamentar em sistemas de elevado impacto.