Empresa pede desculpas depois que agente de suporte de IA inventa política que causa indignação dos usuários
Um desenvolvedor de software frustrado acreditava que uma mensagem gerada por IA vinha de um representante de suporte humano.
Empresa se desculpa depois que agente de suporte de IA inventa política que causa indignação dos usuários
Um desenvolvedor que utiliza o popular editor de código alimentado por IA, Cursor, percebeu algo estranho ao alternar entre diferentes máquinas, sendo desconectado instantaneamente, interrompendo um fluxo comum de trabalho para programadores que usam vários dispositivos. Ao entrar em contato com o suporte do Cursor, um agente chamado “Sam” disse a ele que era um comportamento esperado sob uma nova política. No entanto, nenhuma política semelhante existia e Sam na verdade era um bot. O modelo de IA inventou a política, desencadeando uma onda de reclamações e ameaças de cancelamento documentadas no Hacker News e Reddit. Essa situação mais recente destaca como as confabulações de IA (também chamadas de “alucinações”) podem causar danos potenciais aos negócios.
O incidente começou quando um usuário do Reddit notou que ao alternar entre desktop, laptop e caixa de desenvolvimento remoto, as sessões do Cursor eram terminadas inesperadamente. Confuso e frustrado, o usuário escreveu um e-mail para o suporte do Cursor e recebeu prontamente uma resposta de Sam, que afirmava que o Cursor só podia ser usado em um dispositivo por assinatura, o que não era verdade. Logo após, vários usuários anunciaram publicamente o cancelamento de suas assinaturas no Reddit, citando a política inexistente como motivo. A empresa Cursor reconheceu o erro e tomou medidas para corrigi-lo, fazendo com que o cofundador Michael Truell se desculpasse pela confusão gerada, explicando que os usuários afetados foram reembolsados e que agora as respostas de IA usadas para o suporte por e-mail são claramente identificadas.
Embora o bug técnico tenha sido corrigido, o incidente destaca os riscos de implementar modelos de IA em funções voltadas para o cliente sem proteções adequadas e transparência. Para uma empresa que vende ferramentas de produtividade de IA para desenvolvedores, ter seu próprio sistema de suporte de IA inventar uma política que alienou seus usuários principais representa uma ferida autoinfligida particularmente embaraçosa.
Essa situação reforça a importância do monitoramento e supervisão adequados ao implementar a IA em interações com os clientes, visando evitar erros que possam prejudicar a confiança dos usuários e a reputação da empresa.
