El costat fosc dels agents d’IA: Poder sense control

L’adopció d’agents d’IA ha avançat més ràpid que la nostra capacitat per governar-los.

Un estudi de SailPoint mostra que el 82 % de les organitzacions ja tenen agents d’IA en producció, però només el 44 % tenen polítiques documentades que en defineixin els permisos i els límits operatius. Els resultats són visibles in situ: el 80 % dels desplegaments registren accions no intencionades, i el 23 % exposen credencials en registres o missatges d’error. No es tracta d’incidents aïllats, sinó de símptomes d’un model operatiu que no ha seguit el ritme de la tecnologia.

La diferència estructural amb els chatbots tradicionals és senzilla: els agents no es limiten a respondre, sinó que actuen. Fan trucades a API autenticades, utilitzen comptes de servei i tokens amb amplis privilegis i eludeixen els controls dissenyats per a humans, com l’autenticació multifactor (MFA), la DLP per a correu electrònic o les aprovacions manuals. Un agent d’atenció al client pot llegir i modificar dades sense activar cap mecanisme de supervisió; un agent de DevOps pot gestionar canals de CI/CD amb poca o cap supervisió directa.

Aquest nou perímetre obre vectors d’atac sense cap interacció humana. A Black Hat USA 2025, Zenity va demostrar cadenes d’exploits sense clics contra agents empresarials. En el cas de Microsoft Copilot Studio, un únic arxiu trampa procedent d’una font integrada —com SharePoint o una invitació per correu electrònic— n’hi havia prou per injectar instruccions ocultes. Quan l’agent processava aquest contingut, interpretava el text com a ordres, se saltava les barreres dels avisos i, fent servir credencials vàlides, enumerava connectors i extreia registres de CRM, tot això sense un sol clic.

Abordar aquest risc no significa alentir l’adopció, sinó tractar els agents com a identitats privilegiades, amb una gestió completa del cicle de vida: autenticació amb rotació periòdica, un inventari mantingut d’agents amb un propietari definit, un propòsit clar i una data de desactivació prevista, a més de procediments de break-glass per revocar ràpidament les credencials quan alguna cosa va malament.

L’observabilitat també ha d’evolucionar. No n’hi ha prou amb registrar el resultat final, sinó que hem de capturar la cadena de decisió: quines eines es van invocar, amb quins paràmetres, quins valors es van retornar i com van conduir a l’acció següent. Amb aquesta visibilitat, les organitzacions poden establir una línia de base de comportament per a cada agent; a partir d’aquí, l’elaboració de perfils de comportament permet la detecció primerenca de desviacions, abans que es converteixin en incidents.

Els controls més eficaços es troben fora del model: limitació de la velocitat per evitar l’extracció massiva de dades, segmentació de la xarxa per reduir el moviment lateral i tokens d’aprovació per a operacions sensibles com actualitzacions massives, pagaments o accions destructives. Sempre que sigui possible, cal aplicar barreres de protecció en la capa d’execució —API, cues, passarel·les—, i no només en el nivell de sol·licitud.

El model operatiu també necessita ajustos: revisions de riscos prèvies a la producció, proves de penetració específiques per a cada agent (incloent-hi escenaris d’injecció indirecta) i una segregació clara d’entorns i mètriques de governança que realment importin, com el temps mitjà fins a la revocació, el percentatge d’agents amb un propietari identificat, l’antiguitat mitjana dels secrets i la cobertura del registre de decisions. Sense aquests controls bàsics, l’automatització amplifica els errors i multiplica l’impacte.

La pressió competitiva farà que els agents siguin inevitables i, quan es configuren amb disciplina, els guanys són reals. Gartner calcula que el 40 % d’aquests projectes fracassaran d’aquí al 2027 a causa dels costos, la falta de claredat del valor empresarial i la debilitat dels controls de risc. El problema no és la tecnologia, sinó la seva governança, tractar els agents com a programari altament privilegiat que opera amb credencials de producció. Amb regles clares, ofereixen velocitat sense crear vulnerabilitats; sense disciplina, donen lloc a la shadow AI, més perillosa que qualsevol eina no autoritzada, perquè opera legítimament dins dels teus propis sistemes.

João Sequeira, director de Secure e-Solutions de GMV a Portugal

*Aquest article s’ha publicat abans a IT Security.