Slopsquatting: uma ameaça silenciosa nascida das alucinações dos LLM

A introdução de ferramentas de inteligência artificial generativa transformou em muito pouco tempo, e de forma radical, a maneira como desenvolvemos software. Atualmente, é cada vez mais comum ver programadores a utilizar assistentes baseados em inteligência artificial (IA) diretamente integrados nos seus ambientes de desenvolvimento, como Github Copilot, Cursor ou o popular chatGPT. Estes assistentes sugerem fragmentos de código, explicam erros e até nos ajudam a compreender bibliotecas ou APIs complexas sem sair do editor.

Esta transformação representa uma mudança de paradigma no dia a dia de muitos profissionais que trabalham com código. O impacto foi tão significativo que até plataformas consolidadas como Stack Overflow registaram quedas importantes no tráfego e na participação. A razão? Muitos programadores, especialmente os mais jovens, preferem fazer as suas perguntas a um modelo de linguagem antes de recorrer a fóruns tradicionais.

No entanto, nem tudo são boas notícias. Embora estas ferramentas nos tornem mais ágeis, também trouxeram novos desafios que não podemos ignorar. Um dos mais preocupantes, e talvez o mais conhecido, é o fenómeno conhecido como "alucinações".

Quando a IA inventa

Uma alucinação, neste contexto, ocorre quando um modelo de linguagem gera uma resposta que parece credível, mas que é incorreta ou simplesmente falsa [1]. Esta não é uma falha ocasional, mas sim uma característica inerente ao modo como funcionam os grandes modelos de linguagem (LLM, na sigla em inglês) para tornar os textos gerados mais criativos[2].

Estes modelos não têm uma compreensão real do mundo e, em geral, não dispõem de mecanismos para verificar quando não "sabem" algo [3]. Em vez disso, baseiam-se em padrões estatísticos para prever a sequência mais provável de palavras, o que pode levar a respostas inventadas, mas convincentes, especialmente em situações pouco comuns ou mal formuladas. [4].

No contexto da programação, onde muitas questões envolvem cenários novos ou altamente específicos, isto pode resultar em sugestões de funções, classes ou até mesmo packs inteiros que parecem válidos, mas que, na realidade, não existem. E é aqui que o problema se torna mais sério.

Nasce uma nova ameaça: o slopsquatting

O termo slopsquatting foi criado por Seth Larson, engenheiro de segurança na Python Software Foundation. Descreve uma técnica maliciosa que se baseia precisamente nessas alucinações: quando um modelo de IA sugere um pacote que não existe, um atacante pode registá-lo em repositórios públicos como PyPI ou npm. Desta forma, um programador desatento pode, inadvertidamente, carregar uma versão maliciosa no seu projeto.

Ao contrário do mais conhecido typosquatting, que explora erros tipográficos comuns dos utilizadores, no slopsquatting a "confusão" é gerada pelo próprio modelo. É uma abordagem mais sofisticada, pois tira partido da confiança que depositamos nestas ferramentas inteligentes. Assim, um programador que confie cegamente nas sugestões da IA, e as inclua no seu projeto, pode estar a abrir uma porta perigosa para vulnerabilidades no sistema.

O que dizem os investigadores?

Um estudo recente [5], realizado por universidades dos Estados Unidos, incluindo a Virginia Tech e a Universidade do Texas em San Antonio, analisou mais de meio milhão de fragmentos de código gerados com IA. Entre as suas principais conclusões:

• 19,7% dos pacotes sugeridos pelos modelos não existiam.
• Os modelos de código aberto, como o CodeLlama e WizardCoder, apresentaram taxas de alucinação mais elevadas (até 21,7%) em comparação com modelos comerciais como o GPT-4 Turbo (3,59%).
• Muitas destas alucinações eram recorrentes e persistentes: 43% reapareceram em 10 execuções repetidas das mesmas consultas.
• 38% dos nomes de pacotes inventados eram surpreendentemente semelhantes a pacotes reais, por vezes até válidos noutras linguagens de programação, o que aumenta as possibilidades de passarem despercebidos.

Estes números deixa claro que: não se trata de erros pontuais, mas sim de um padrão. E esse padrão pode ser explorado como uma vulnerabilidade para infiltração na cadeia de fornecimento de software. E isto pode ter consequências sérias para qualquer projeto, independentemente do seu tamanho.

E o que implica isto para quem desenvolve software?

Na GMV, estamos plenamente conscientes das vantagens que as ferramentas de assistência por IA podem oferecer, mas também estamos atentos às suas limitações, pois estão longe de serem infalíveis [5]. Utilizamo-las como auxiliares para sermos mais eficientes, mantendo sempre um forte espírito crítico em relação aos resultados que geram. 

Apesar de não haver receitas mágicas, adotamos uma abordagem cautelosa e crítica, que inclui:

• Verificarmos manualmente a existência e proveniência de qualquer pacote sugerido.
• Utilizarmos ferramentas de análise de dependências que identificam possíveis vulnerabilidades e nos alertam para componentes suspeitos.
• Experimentarmos o código em ambientes seguros antes de o integrar em sistemas reais.
• Formarmos continuamente as nossas equipas em segurança e uso responsável de ferramentas de IA.
• Fomentarmos a revisão entre pares, especialmente quando se introduz código gerado por IA.

Esta combinação de tecnologia e critério humano é fundamental para garantir a segurança e a qualidade dos nossos desenvolvimentos.

Na GMV, continuamos a explorar e utilizar estas ferramentas com entusiasmo, mas sem perder de vista a responsabilidade que temos como programadores de sistemas críticos. O bom uso de qualquer tecnologia depende das nossas decisões. A IA pode ser uma aliada poderosa, mas é preciso ser aplicada com o bom senso. Porque, no final de contas, além das sugestões inteligentes ou e do código automatizado, o que realmente faz a diferença é o critério profissional, a experiência e o trabalho bem feito.

Autor: Dr. David Miraut

REFERÊNCIAS:

[1]          R. Tenajas-Cobo and D. Miraut-Andrés, "Riesgos en el uso de Grandes Modelos de Lenguaje para la revisión bibliográfica en Medicina", Investig. En Educ. Médica, vol. 13, no. 49, Art. no. 49, Jan. 2024, doi: 10.22201/fm.20075057e.2024.49.23560.

[2]          R. Tenajas and D. Miraut, "The 24 Big Challenges of Artificial Inteligence Adoption in Healthcare: Review Article", Acta Medica Ruha, vol. 1, no. 3, Art. no. 3, Sep. 2023, doi: 10.5281/zenodo.8340188.

[3]          R. Tenajas and D. Miraut, "The Risks of Artificial Intelligence in Academic Medical Writing", Ann. Fam. Med., no. 2023, p. eLetter, Feb. 2024.

[4]          R. Tenajas, D. Miraut, R. Tenajas, and D. Miraut, "El pulso de la Inteligencia Artificial y la alfabetización digital en Medicina: Nuevas herramientas, viejos desafíos", Rev. Medica Hered., vol. 34, no. 4, pp. 232–233, Oct. 2023, doi: 10.20453/rmh.v34i4.5153.

[5]          J. Spracklen, R. Wijewickrama, A. H. M. N. Sakib, A. Maiti, B. Viswanath, and M. Jadliwala, "We Have a Package for You! A Comprehensive Analysis of Package Hallucinations by Code Generating LLMs", Mar. 02, 2025, arXiv: arXiv:2406.10279. doi: 10.48550/arXiv.2406.10279.