Alucinações de Código de IA Aumentam o Risco de Ataques de ‘Confusão de Pacotes’
Um novo estudo descobriu que o código gerado por IA é mais propenso a conter informações inventadas que podem ser usadas para enganar o software a interagir com código malicioso.
Artigo sobre os riscos dos ataques de ‘confusão de pacotes’ provocados por alucinações de código de IA
Um estudo recente revelou que o código gerado por inteligência artificial (IA) está repleto de referências a bibliotecas de terceiros inexistentes, o que cria uma oportunidade para ataques de cadeia de suprimentos que contaminam programas legítimos com pacotes maliciosos capazes de roubar dados, plantar backdoors e realizar outras ações maliciosas. A pesquisa utilizou 16 dos modelos de linguagem grandes mais utilizados para gerar 576.000 amostras de código, encontrando que 440.000 das dependências de pacotes que essas amostras continham eram “alucinadas”, ou seja, inexistentes.
Essas dependências inexistentes representam uma ameaça para a cadeia de suprimentos de software, exacerbando os chamados ataques de confusão de dependência. Esses ataques funcionam causando com que um pacote de software acesse a dependência errada, por exemplo, publicando um pacote malicioso e dando a ele o mesmo nome do legítimo mas com uma versão posterior. Este tipo de ataque, também conhecido como confusão de pacotes, foi primeiro demonstrado em 2021 em um exploit de prova de conceito que executou código falso em redes de algumas das maiores empresas do planeta, incluindo a Apple, a Microsoft e a Tesla.
No campo da IA, alucinações acontecem quando um modelo de linguagem produz resultados factualmente incorretos, sem sentido ou completamente não relacionados à tarefa para a qual foi designado. O estudo, que será apresentado no simpósio de segurança USENIX de 2025, denominou o fenômeno como “alucinação de pacote”. Os pesquisadores realizaram 30 testes que geraram 576.000 amostras de código, revelando que 19,7% das 2,23 milhões de referências de pacotes apontavam para pacotes que não existiam.
Com o CTO da Microsoft Kevin Scott prevendo que 95% do código será gerado por IA em cinco anos, é fundamental que os desenvolvedores estejam atentos para evitar possíveis vulnerabilidades e ataques cibernéticos.
