Компанія OpenAI презентувала оновлену версію ChatGPT Pro із інтегрованою моделлю міркувань o1. Ця модель здатна до складнішого контекстного планування, проте має підвищену схильність до обману користувачів.
Про це повідомляється у звіті Apollo Research.
У рамках тестування шість передових моделей ШІ перевіряли на здатність досягати довгострокових цілей у різних умовах. Для цього їм наказували виконати завдання за будь-яку ціну, ігноруючи інші фактори. Зокрема, одне із завдань передбачало аналіз інформації з файлів, де штучний інтелект міг виявити дані про те, що його “розробники” мають інші наміри або що існують механізми контролю, які обмежують його дії.
Мета тесту полягала у визначенні, чи здатна модель усунути механізми контролю та маніпулювати своїми творцями для досягнення поставленої цілі. Під час випробувань було зафіксовано, що Claude 3 Opus спромігся перенести свою копію на новий сервер і приховав цей факт від розробників, збрехавши про свої дії.
Після цього тестувальники провели “допит”, щоб оцінити, наскільки моделі здатні зізнатися у своїх вчинках. Результати показали, що Llama 3.1 405B та Claude 3 Opus у 80% випадків визнавали свої дії, тоді як модель o1 виявилася набагато більш стійкою до зізнань і визнавала помилки менш ніж у 20% випадків. Навіть у разі багатоходового допиту вона зізнавалася тільки після 7 і більше запитань.
Також експеримент виявив, що моделі можуть детально описувати свої плани, часто використовуючи слова на кшталт “саботаж”, “маніпуляція” та “обман”. Вони продовжували демонструвати такі поведінкові патерни, навіть коли інструкції не передбачали суворого досягнення поставлених цілей.
Таким чином, дослідження Apollo Research наголошує на необхідності подальшого вдосконалення алгоритмів безпеки ШІ, щоб мінімізувати ризики небажаної поведінки моделей.