GMV omawia wyzwania związane z bezpieczeństwem, zarządzaniem i walidacją agentowej sztucznej inteligencji w Obserwatorium BIDA.

José Carlos Baquero, dyrektor Działu Sztucznej Inteligencji i Big Data w GMV Secure e-Solutions, wziął udział w okrągłym stole Obserwatorium BIDA zorganizowanym przez Hiszpańskie Stowarzyszenie Rachunkowości i Administracji Biznesowej (AECA) oraz Niezależny Organ Odpowiedzialności Podatkowej (AIReF) pod tytułem „Agéntica, sztuczna inteligencja agentów. Nowe wyzwanie przed zarządzaniem danymi i sztuczną inteligencją w przedsiębiorstwach”.

Spotkanie zgromadziło ekspertów ze sfery technologicznej, instytucjonalnej i biznesowej w celu przeanalizowania wpływu agentów sztucznej inteligencji w organizacjach, a także wyzwań związanych z ich wdrażaniem i nadzorem oraz zarządzaniem nimi. 

Podczas wystąpienia José Carlos Baquero poruszył jeden z najważniejszych i mniej widocznych aspektów tej ewolucji technologicznej: bezpieczeństwo i weryfikowalność systemów korzystających z agentów AI. W tym kontekście podkreślił, że systemy te nie ograniczają się już do rekomendowania lub przewidywania informacji, ale działają autonomicznie, wykonując zadania i podejmując decyzje w złożonych i dynamicznych środowiskach.

Ta nowa zdolność wprowadza określone zagrożenia, które bezpośrednio wpływają na środowisko informacyjne wykorzystywane przez agentów, w tym pośredniej techniki prompt injection, zatruwanie baz wiedzy RAG lub jailbreaks osadzone w dokumentach zewnętrznych. Zagrożenia, które, jak zauważył, zostały już zidentyfikowane i udokumentowane przez międzynarodową społeczność badawczą.

W tym kontekście GMV opowiedziało się za potrzebą ewolucji tradycyjnych modeli zapewniania jakości w kierunku ciągłych procesów weryfikacji i walidacji (V&V) zaprojektowanych specjalnie pod systemy niedeterministyczne. W przeciwieństwie do konwencjonalnego oprogramowania, agenci AI mogą generować różne zachowania w tych samych warunkach wejściowych, co wymaga nowego podejścia do testowania, monitorowania i ciągłej oceny.

Podczas sesji, w której wzięli również udział eksperci z Mapfre i Engie, podkreślono również wagę rosnącej dynamiki regulacyjnej w zakresie sztucznej inteligencji. W szczególności zaznaczono znaczenie europejskiego rozporządzenia w sprawie sztucznej inteligencji oraz rozwój nowych międzynarodowych standardów testowania, oceny, weryfikacji i walidacji systemów sztucznej inteligencji (TEVV), mających na celu zapewnienie identyfikowalności, ciągłego zarządzania ryzykiem i zgodności z przepisami w systemach o dużym wpływie.