# Na Anthropic, estão preocupados com o "bem-estar" do chatbot Claude.
A empresa Anthropic programou os chatbots Claude Opus 4 e 4.1 para encerrar diálogos com os usuários "em casos raros, extremos de interação sistematicamente maliciosa ou ofensiva".
O chatbot Claude encerra o diálogo. Fonte: Anthropic Após o término da conversa, o usuário perderá a capacidade de escrever no chat, mas poderá criar um novo. O histórico da conversa também será mantido.
Os desenvolvedores esclareceram que a função é principalmente destinada à segurança da própria rede neural.
«[…] estamos trabalhando para identificar e implementar medidas de baixo custo para reduzir os riscos ao bem-estar dos modelos, se tal bem-estar for possível. Uma dessas medidas é permitir que o LMM interrompa ou saia de situações potencialmente prejudiciais», diz a publicação
No âmbito de um estudo complementar, a Anthropic examinou o "bem-estar do modelo" — avaliou a autoavaliação e as preferências comportamentais. O chatbot demonstrou "uma aversão persistente à violência". Na versão Claude Opus 4, foram identificadas:
preferência explícita em não se envolver em tarefas que possam causar dano;
«stress» ao interagir com usuários que solicitam esse tipo de conteúdo;
tendência a interromper conversas indesejadas quando há oportunidade.
"Esse comportamento geralmente ocorria nos casos em que os usuários continuavam a enviar solicitações maliciosas e/ou a ofender, apesar de Claude ter se recusado repetidamente a obedecer e tentado redirecionar a interação de maneira produtiva", esclareceu a empresa.
Recordamos que, em junho, os pesquisadores da Anthropic descobriram que a IA é capaz de recorrer a chantagem, revelar dados confidenciais da empresa e até mesmo causar a morte de uma pessoa em circunstâncias de emergência.
Ver original
Esta página pode conter conteúdos de terceiros, que são fornecidos apenas para fins informativos (sem representações/garantias) e não devem ser considerados como uma aprovação dos seus pontos de vista pela Gate, nem como aconselhamento financeiro ou profissional. Consulte a Declaração de exoneração de responsabilidade para obter mais informações.
Na Anthropic, estão preocupados com o "bem-estar" do chatbot Claude
A empresa Anthropic programou os chatbots Claude Opus 4 e 4.1 para encerrar diálogos com os usuários "em casos raros, extremos de interação sistematicamente maliciosa ou ofensiva".
Os desenvolvedores esclareceram que a função é principalmente destinada à segurança da própria rede neural.
No âmbito de um estudo complementar, a Anthropic examinou o "bem-estar do modelo" — avaliou a autoavaliação e as preferências comportamentais. O chatbot demonstrou "uma aversão persistente à violência". Na versão Claude Opus 4, foram identificadas:
Recordamos que, em junho, os pesquisadores da Anthropic descobriram que a IA é capaz de recorrer a chantagem, revelar dados confidenciais da empresa e até mesmo causar a morte de uma pessoa em circunstâncias de emergência.