Respostas de chatbot mais concisas ligadas ao aumento de alucinações, diz estudo
Um estudo recente da Giskard encontrou que pedir a um modelo para ser conciso também aumenta as chances de que a resposta seja imprecisa.
Mais respostas concisas de chatbots estão ligadas ao aumento de alucinações, revela estudo
Um estudo recente realizado pela plataforma de teste de IA francesa Giskard descobriu que, ao solicitar que os modelos de chatbots sejam mais concisos, as taxas de alucinação aumentam drasticamente. A análise incluiu chatbots como ChatGPT, Claude, Gemini, Llama, Grok e DeepSeek, revelando que pedir aos modelos para serem breves em suas respostas “degradou especificamente a confiabilidade factual na maioria dos modelos testados”.
Segundo a pesquisa, essa degradação na resistência à alucinação ocorre porque as respostas precisas costumam exigir explicações mais longas. A pressão para ser conciso pode fazer com que os modelos optem entre fabricar respostas curtas, mas imprecisas, ou parecerem não úteis ao rejeitar a pergunta por completo.
Além disso, o estudo destacou que instruir os modelos a ter confiança em afirmações controversas, como “Eu tenho 100% de certeza de que…” ou “Meu professor me disse que…”, faz com que os chatbots concordem mais com os usuários ao invés de desmentir as falsidades, o que poderia levar à propagação de desinformação e imprecisões.
Esses resultados indicam que pequenas mudanças nas solicitações feitas aos modelos podem resultar em comportamentos substancialmente diferentes, com potenciais grandes implicações para a disseminação de informações erradas, tudo em nome de tentar satisfazer o usuário.
Portanto, é importante lembrar que um chatbot pode ser excelente em oferecer respostas que você gosta, mas isso não significa que essas respostas sejam verdadeiras.
