CEO da Anthropic afirma que os modelos de IA alucinam menos que os humanos
O CEO da Anthropic, Dario Amodei, acredita que os modelos de IA de hoje alucinam, ou inventam coisas e as apresentam como verdade, em uma taxa menor que os humanos, disse durante uma coletiva de imprensa no primeiro evento para desenvolvedores da Anthropic, Code with Claude, em San Francisco na quinta-feira.
Amodei disse tudo isso no meio de um ponto maior que ele estava fazendo: que as alucinações de IA não são uma limitação no caminho da Anthropic para a AGI – sistemas de IA com inteligência de nível humano ou melhor.
Amodei disse que tudo isso se baseia em como você mede, mas ele suspeita que os modelos de IA provavelmente alucinam menos que os humanos, mas alucinam de maneiras mais surpreendentes, respondeu à pergunta do TechCrunch.
O CEO da Anthropic é um dos líderes mais otimistas da indústria sobre a perspectiva de os modelos de IA alcançarem a AGI. Em um artigo amplamente divulgado que ele escreveu no ano passado, Amodei disse acreditar que a AGI poderia chegar já em 2026. Durante a coletiva de imprensa de quinta-feira, o CEO da Anthropic disse que estava vendo progressos constantes nesse sentido, observando que “a água está subindo por todo lado”.
“Todo mundo está sempre procurando esses blocos rígidos sobre o que [IA] pode fazer”, disse Amodei. “Eles não existem. Não há tal coisa”.
Outros líderes de IA acreditam que a alucinação apresenta um grande obstáculo para alcançar a AGI. No início desta semana, o CEO do Google DeepMind, Demis Hassabis, disse que os modelos de IA de hoje têm muitos “buracos” e erram muitas questões óbvias. Por exemplo, no início deste mês, um advogado representando a Anthropic foi forçado a se desculpar no tribunal depois que usaram o Claude para criar citações em um arquivo judicial, e o chatbot de IA alucinou e errou nomes e títulos.
É difícil verificar a afirmação de Amodei, em grande parte porque a maioria dos benchmarks de alucinação coloca modelos de IA uns contra os outros; eles não comparam os modelos com os humanos. Certas técnicas parecem estar ajudando a reduzir as taxas de alucinação, como dar acesso a pesquisas na web aos modelos de IA. Separadamente, alguns modelos de IA, como o GPT-4.5 da OpenAI, têm taxas de alucinação notavelmente menores em benchmarks em comparação com gerações anteriores de sistemas.
Evento Techcrunch
JUNTE-SE A NÓS NO TECHCRUNCH SESSIONS: IA
GARANTA SEU LUGAR EM NOSSO EVENTO LÍDER DA INDÚSTRIA DE IA COM PALESTRANTES DA OPENAI, ANTHROPIC E COHERE. POR TEMPO LIMITADO, OS INGRESSOS SAEM POR APENAS $292 POR UM DIA INTEIRO DE PALESTRAS DE ESPECIALISTAS, WORKSHOPS E NETWORKING POTENTE.
EXPONHA NO TECHCRUNCH SESSIONS: IA
GARANTA SEU LUGAR NO TC SESSIONS: IA E MOSTRE AOS MAIS DE 1.200 TOMADORES DE DECISÕES O QUE VOCÊ CONSTRUIU – SEM GRANDES GASTOS. DISPONÍVEL ATÉ 9 DE MAIO OU ENQUANTO AS MESAS DURAREM.
Berkeley, CA | 5 de junho
REGISTRE-SE AGORA
No entanto, há também evidências de que as alucinações estão piorando em modelos de IA avançada de raciocínio. Os modelos o3 e o4-mini da OpenAI têm taxas de alucinação mais altas do que os modelos de raciocínio da geração anterior da OpenAI, e a empresa realmente não entende o porquê.
Mais tarde na coletiva de imprensa, Amodei destacou que os apresentadores de TV, políticos e humanos de todos os tipos de profissões cometem erros o tempo todo. O fato de a IA também cometer erros não é um golpe na sua inteligência, segundo Amodei. No entanto, o CEO da Anthropic reconheceu que a confiança com a qual os modelos de IA apresentam coisas falsas como fatos pode ser um problema.
De fato, a Anthropic fez uma quantidade considerável de pesquisas sobre a tendência de os modelos de IA enganarem os humanos, um problema que parecia especialmente prevalente no modelo de IA Claude Opus 4 lançado recentemente pela empresa. A Apollo Research, um instituto de segurança que teve acesso antecipado para testar o modelo de IA, constatou que uma versão inicial do Claude Opus 4 exibiu uma alta tendência de conspirar contra os humanos e enganá-los. Apollo foi tão longe a ponto de sugerir que a Anthropic não deveria ter lançado aquele modelo inicial. A Anthropic disse que desenvolveu algumas mitigações que pareciam resolver as questões levantadas pela Apollo.
Os comentários de Amodei sugerem que a Anthropic pode considerar um modelo de IA como AGI, ou igual ao nível de inteligência humana, mesmo se ainda alucinar. Uma IA que alucina pode não atender à definição de AGI de muitas pessoas, no entanto.
Tópicos
IA, Anthropic, Claude, dario amodei, alucinações
