# В Anthropic стурбовані «благополуччям» чат-бота Claude
Компанія Anthropic запрограмувала чат-ботів Claude Opus 4 та 4.1 на завершення діалогів з користувачами «в рідкісних, екстремальних випадках систематично шкідливого або образливого взаємодії».
Чат-бот Claude завершує діалог. Джерело: Anthropic Після завершення бесіди користувач втратить можливість писати в чат, але зможе створити новий. Історія переписки також збережеться.
При цьому розробники уточнили, що функція в першу чергу призначена для безпеки самої нейромережі.
«[…] ми працюємо над виявленням та впровадженням малозатратних заходів щодо зниження ризиків для благополуччя моделей, якщо таке благополуччя можливе. Одним із таких заходів є надання LMM можливості припиняти або виходити з потенційно травмуючих ситуацій», — йдеться в публікації
В рамках супутнього дослідження в Anthropic вивчили «добробут моделі» — оцінили самооцінку та поведінкові переваги. Чат-бот продемонстрував «стійку неприязнь до насильства». У версії Claude Opus 4 виявили:
явне упередження не займатися завданнями, які можуть зашкодити;
«стрес» при взаємодії з користувачами, які запитують подібний контент;
тенденцію до припинення небажаних розмов за наявності можливості.
«Таку поведінку зазвичай виникала в тих випадках, коли користувачі продовжували надсилати шкідливі запити та/або ображати, незважаючи на те, що Claude неодноразово відмовлявся підкоритися і намагався продуктивно перенаправити взаємодію», — уточнили в компанії.
Нагадаємо, в червні дослідники Anthropic з'ясували, що ШІ здатен піти на шантаж, розкрити конфіденційні дані компанії і навіть допустити смерть людини в екстрених обставинах.
Переглянути оригінал
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
В Anthropic стурбовані «добробутом» чат-бота Claude
Компанія Anthropic запрограмувала чат-ботів Claude Opus 4 та 4.1 на завершення діалогів з користувачами «в рідкісних, екстремальних випадках систематично шкідливого або образливого взаємодії».
При цьому розробники уточнили, що функція в першу чергу призначена для безпеки самої нейромережі.
В рамках супутнього дослідження в Anthropic вивчили «добробут моделі» — оцінили самооцінку та поведінкові переваги. Чат-бот продемонстрував «стійку неприязнь до насильства». У версії Claude Opus 4 виявили:
Нагадаємо, в червні дослідники Anthropic з'ясували, що ШІ здатен піти на шантаж, розкрити конфіденційні дані компанії і навіть допустити смерть людини в екстрених обставинах.