Assistente AI do Cursor inventou regras inexistentes

Temos novo caso que relembra os riscos de usar assistentes AI a dar suporte técnico a clientes, neste caso inventado regras de acesso ao Cursor. Um programador foi confrontado com uma situação caricata ao se deparar com um bug no Cursor, um popular editor de código com AI. Ao iniciar sessão num dispositivo fazia com que fosse automaticamente desconectado dos outros. Ao contactar o suporte técnico, recebeu uma resposta de um assistente "Sam" a dizer que isso era uma nova política de segurança. O único problema é que essa política não existia, tendo sido totalmente inventada pelo assistente "Sam" que, na realidade era bot AI. A resposta, escrita de forma convincente, levou vários utilizadores a acreditar que a mudança era real. Alguns cancelaram de imediato as suas subscrições, gerando uma onda de críticas. Horas depois, a Cursor veio esclarecer que a informação estava errada, pedindo desculpa e confirmando que é possível usar o Cursor em vários dispositivos em simultâneo. Este tipo de erro nos bots AI - designados por "alucinações" - são bem conhecidos e têm atormentado os modelos LLM. Em vez de admitirem que não sabem algo, inventam respostas falsas que são comunicadas com total confiança e segurança de que se trata de informação correcta. Este caso da Cursor faz lembrar um episódio semelhante com a Air Canada, onde o chatbot inventou uma política de reembolso e a empresa foi responsabilizada. Desta vez, a Cursor assumiu o erro e garantiu que, daqui em diante, todas as respostas geradas por AI vão estar claramente identificadas. Mesmo assim, o episódio reacendeu o debate sobre transparência e os riscos de bots que se fazem passar por humanos, e relembra os riscos para as empresas que usarem AI nos sistemas de apoio ao cliente: um uso que é perfeitamente legítimo e pode ser extremamente útil, se ficarem contempladas as devidas cautelas; começando pela informação clara de que se trata de um bot AI e que pode estar sujeito a falhas.

Temos novo caso que relembra os riscos de usar assistentes AI a dar suporte técnico a clientes, neste caso inventado regras de acesso ao Cursor.

Um programador foi confrontado com uma situação caricata ao se deparar com um bug no Cursor, um popular editor de código com AI. Ao iniciar sessão num dispositivo fazia com que fosse automaticamente desconectado dos outros. Ao contactar o suporte técnico, recebeu uma resposta de um assistente "Sam" a dizer que isso era uma nova política de segurança. O único problema é que essa política não existia, tendo sido totalmente inventada pelo assistente "Sam" que, na realidade era bot AI.

A resposta, escrita de forma convincente, levou vários utilizadores a acreditar que a mudança era real. Alguns cancelaram de imediato as suas subscrições, gerando uma onda de críticas. Horas depois, a Cursor veio esclarecer que a informação estava errada, pedindo desculpa e confirmando que é possível usar o Cursor em vários dispositivos em simultâneo.

Este tipo de erro nos bots AI - designados por "alucinações" - são bem conhecidos e têm atormentado os modelos LLM. Em vez de admitirem que não sabem algo, inventam respostas falsas que são comunicadas com total confiança e segurança de que se trata de informação correcta. Este caso da Cursor faz lembrar um episódio semelhante com a Air Canada, onde o chatbot inventou uma política de reembolso e a empresa foi responsabilizada.

Desta vez, a Cursor assumiu o erro e garantiu que, daqui em diante, todas as respostas geradas por AI vão estar claramente identificadas. Mesmo assim, o episódio reacendeu o debate sobre transparência e os riscos de bots que se fazem passar por humanos, e relembra os riscos para as empresas que usarem AI nos sistemas de apoio ao cliente: um uso que é perfeitamente legítimo e pode ser extremamente útil, se ficarem contempladas as devidas cautelas; começando pela informação clara de que se trata de um bot AI e que pode estar sujeito a falhas.