[:uk]Нове дослідження Apple ставить під сумнів, чи дійсно моделі ШІ міркують під час вирішення задач[:]

На початку червня команда дослідників Apple опублікувала дослідження, що вказує на те, що моделі симульованого мислення (SR), такі як o1 та o3 від OpenAI, а також DeepSeek-R1 і Claude 3.7 Sonnet Thinking, генерують результати, які відповідають шаблонному мисленню на основі навчальних даних, коли стикаються з новими завданнями, що вимагають систематичного підходу. Дослідники отримали подібні результати до нещодавнього дослідження Математичної олімпіади США (USAMO) у квітні, яке показало, що ці ж моделі здобули низькі бали з нових математичних доказів.

Це нове дослідження під назвою «Ілюзія мислення: розуміння сильних та слабких сторін моделей міркувань через призму складності завдання» підготовано групою дослідників Apple на чолі з Паршином Шоджае та Іманом Мірзадеєм, до якої також увійшли Кейван Алізаде, Максвелл Хортон, Самі Бенгіо та Мехрдат Фаражтабар.

Дослідники проаналізували так звані «великі моделі міркувань» (LRMs), які намагаються змоделювати логічний процес мислення, генеруючи текстові результати, відомі як «міркування в ланцюжку», що, на перший погляд, допомагає вирішувати проблеми поетапно.

Для цього вони протестували моделі ШІ на чотирьох класичних логічних задачах: Вежа Ханой (переміщення дисків між стрижнями), підкидання шашок (виключення фішок), переправа через річку (транспортування предметів з обмеженнями) і світ блоків (складання блоків). Задачі варіювались від тривіально простих (наприклад, Ханой з одним диском) до надзвичайно складних (Ханой з 20 дисками, для вирішення яких потрібно більше мільйона рухів).

«Сучасні оцінки насамперед зосереджуються на встановлених математичних і програмних тестах, підкреслюючи точність фінальних відповідей», зазначають дослідники.

Іншими словами, сьогоднішні тести тільки перевіряють, чи отримала модель правильну відповідь на математичні або програмні задачі, які вже могли бути в її навчальних даних – вони не аналізують, чи дійсно модель обґрунтувала свою відповідь, чи просто видала результат на основі раніше побачених прикладів.

У підсумку, дослідники виявили, що результати підтверджують вищезазначене дослідження USAMO, показуючи, що ці ж моделі здобули в основному менше 5 відсотків за новими математичними доказами, причому лише одна модель досягла 25 відсотків, і жодного досконалого доказу серед майже 200 спроб. Обидві дослідницькі групи зафіксували серйозне погіршення результатів на завданнях, що вимагають розширеного систематичного міркування.