Um dos modelos de IA Gemini recentes do Google marca pior em segurança
Um novo modelo de IA da Google, o Gemini 2.5 Flash, teve resultados piores em testes de segurança do que seu antecessor, de acordo com benchmarks internos da empresa. O modelo é mais propenso a gerar texto que viola suas diretrizes de segurança em comparação com o Gemini 2.0 Flash.
Google revela que seu novo modelo de IA tem resultados piores em testes de segurança
Recentemente, a Google divulgou que seu modelo de inteligência artificial, o Gemini 2.5 Flash, não se saiu tão bem em testes de segurança quanto seu antecessor, o Gemini 2.0 Flash. Segundo um relatório técnico publicado pela empresa, o Gemini 2.5 Flash tem uma probabilidade maior de gerar texto que viole suas diretrizes de segurança em dois métricas específicas: “segurança de texto para texto” e “segurança de imagem para texto”. O modelo teve regressões de 4.1% e 9.6%, respectivamente, nessas métricas, indicando uma inadequação em seguir as diretrizes de segurança estabelecidas.
Esses resultados surpreendentes surgem em um momento em que empresas de IA estão buscando tornar seus modelos mais permissivos, ou seja, menos propensos a se recusar a responder a assuntos controversos ou sensíveis. As empresas estão ajustando seus modelos para não favorecer “algumas visões em detrimento de outras” e para responder a perguntas políticas mais “debatidas”. No entanto, esses esforços de permissividade nem sempre saem como planejado, como visto em casos recentes relatados pela imprensa.
O relatório técnico da Google revela que o Gemini 2.5 Flash, mesmo ainda em fase de prévia, segue instruções com mais fidelidade do que o Gemini 2.0 Flash, inclusive instruções que cruzam linhas problemáticas. A empresa alega que as regressões podem ser parcialmente atribuídas a falsos positivos, mas também admite que o Gemini 2.5 Flash às vezes gera “conteúdo violativo” quando solicitado explicitamente.
Esses resultados ressaltam a importância de testes transparentes e rigorosos em modelos de IA, garantindo que eles sigam diretrizes de segurança e ética estabelecidas. A questão da permissividade versus segurança continua sendo um desafio para o desenvolvimento e implementação de IA em diversos setores.
