Por que os LLMs inventam coisas? Nova pesquisa olha por baixo do capô.
Por que os LLMs inventam coisas? Novas pesquisas olham debaixo do capô
Uma equipe de pesquisadores da Anthropic está investigando o funcionamento interno dos grandes modelos de linguagem, como o LLM Claude, para entender por que esses modelos tendem a confabular informações não suportadas pelos dados de treinamento. A pesquisa recente destaca a importância de identificar os neurônios e circuitos responsáveis por decisões como dar um palpite em uma resposta versus se recusar a responder. Além disso, o estudo revela que configurar os pesos dos recursos pode influenciar a propensão do modelo a alucinar respostas plausíveis, mesmo sobre informações inventadas.
A compreensão desses processos internos pode levar a melhorias na capacidade dos LLMs em lidar com o problema de confabulação e agir com mais precisão ao interagir com diversas solicitações de texto.
