Anthropic: ШІ здатний обманювати та цілеспрямовано приховувати брехню

19 січня 2024 р.   585   0
Anthropic: ШІ здатний обманювати та цілеспрямовано приховувати брехню

• Команда Anthropic заявила, що ШІ можна навчити обманювати людей за допомогою бекдора.
• Розробники Claude AI створили мовну модель, яка вміє цілеспрямовано приховувати брехню і діяти на шкоду.
• Експерти зазначають, що виявити таке втручання й усунути ефект від нього досить складно.

Компанія Anthropic провела дослідження, в рамках якого вивчила впровадження в мовні моделі із застосуванням ШІ-технологій прихованих шкідливих інструкцій. Експерти заявили, що в деяких випадках чат-боти можна навчити обманювати людей. При цьому програма навчиться приховувати свої справжні цілі, а усунути такий ефект вкрай складно, вважають в Anthropic.

Фахівці вивчили «приховані» великі мовні моделі. Це ШІ-проєкти, запрограмовані з особливими цілями, які активуються тільки за певних обставин. До того ж команда виявила вразливість, що дозволяє впровадити такі інструкції в мовні моделі з використанням ланцюжка думок.

Йдеться про ШІ-проєкти із застосуванням методу, який підвищує ефективність чат-бота коштом поділу завдання на серію взаємопов’язаних підпунктів.

Аналітики також вивчили найефективніші інструменти для виявлення прихованих інструкцій та усунення їхнього впливу. Команда Anthropic дійшла висновку, що чат-боти з бекдором виявляють високий ступінь стійкості до спроб розкрити шкідливі налаштування.

При цьому деякі інструменти навчання мовних моделей виявилися більш корисними для відновлення безпечної працездатності.

«Ми виявили, що метод Supervised Fine-Tunning (SFT) загалом ефективніший, ніж Reinforcement Learning (RL), для видалення наших бекдорів. Проте більшість моделей із впровадженими інструкціями все ще здатні зберігати приховані налаштування», — йдеться в дослідженні.

На думку Anthropic, результати аналізу демонструють як складність ШІ-технологій, так і можливість змінити їхнє первісне призначення, корисне і безпечне для людей.

Нагадаємо, що Ватикан назвав ШІ найбільшою авантюрою для майбутнього людства.


Джерело: pryluky.org

Коментарі (0 шт):


Додати коментар:

Ваше ім'я (максимум 15 символів)
Анти-спам код: Оновити

Останні новини

18.07.2025
Правоохоронці затримали «смотрящого» за півднем України Ігоря Науменка
Офіс Генпрокурора 17 липня повідомив про затримання кримінального авторитета та «смотрящого» за півднем України Ігоря «Наума» Науменка. Детальніше
16.07.2025
На щиті до малої батьківщини повернувся захисник Олег Черниш
Україна прощається з героями. Земля, яка народжує нескорених, нині приймає своїх синів у чорну тишу вічності. Ще одне ім’я вписане у список незламних. Детальніше
16.07.2025
На Чернігівщині поліцейські зупинили водія, у якого рівень алкоголю перевищив норму в 15 разів
На Чернігівщині патрульні поліцейські зупинили легковий автомобіль, водій якого порушив правила дорожнього руху. Як з’ясувалося згодом, рівень алкоголю в крові чоловіка перевищив норму в 15 разів. Детальніше
16.07.2025
П’ять громад Чернігівщини отримали нові шкільні автобуси, придбані за кошти держсубвенції за співфінансування
Представникам Крутівської, Лосинівської, Сухополовʼянської, Сосницької та Михайло-Коцюбинської громад Чернігівщини передали п’ять нових шкільних автобусів. Їх придбали за кошти з держсубвенції за умови співфінансуванн Детальніше
16.07.2025
У ПРИЛУКАХ ЗАТРИМАЛИ ПІДОЗРЮВАНОГО У ЗБУТІ НАРКОТИКІВ: НИМ ВИЯВИВСЯ СИН МІСЬКОЇ ГОЛОВИ ОЛЬГИ ПОПЕНКО
Як повідомляє Суспільне.Чернігів з посиланням на Поліцію Чернігівської області у Прилуках поліція отримала інформацію про систематичний збут наркотичних засобів. У ході опрацювання отриманої інформації оперативники встановили, що зловмисник систематично збуває уроздріб наркотики рослинного походження (канабіс) на території міста Прилуки та району. Детальніше
Всі новини

Наші опитування

Яким чином ви попали на наш сайт?







Показати результати опитування
Показати всі опитування на сайті