У вівторок компанія Google представила Veo 3, нову модель синтезу відео на основі штучного інтелекту, яка здатна виконати те, що жоден з великих генераторів відео раніше не міг: створити синхронізовану звукову доріжку. Хоча в період з 2022 по 2024 роки ми спостерігали початкові етапи генерації відео на основі штучного інтелекту, всі відео були без звуку і, як правило, мали дуже коротку тривалість. Тепер же оціни, можна почути голоси, діалоги та звукові ефекти у восьмисекундних відеокліпах високої чіткості.
Невдовзі після запуску нової моделі люди почали задавати запитання про те, наскільки добре Veo 3 імітує оскароносного актора Вілла Сміта, який їсть спагетті.
Спершу, короткий огляд. Тест із спагетті у відео на основі штучного інтелекту бере свій початок з березня 2023 року, коли ми вперше висвітлили приклад кумедного відео, створеного за допомогою відкритої моделі синтезу відео під назвою ModelScope. Пізніше приклад зі спагетті став настільки популярним, що Сміт пародував його майже через рік у лютому 2024 року.
Ось як виглядало оригінальне відео, що стало вірусним:
Важливо відзначити, що в той час приклад зі Смітом не був найкращим генератором відео на основі штучного інтелекту: модель синтезу відео Gen-2 від Runway вже показувала кращі результати (хоча ще не була доступна для широкого загалу). Проте результат ModelScope був настільки кумедним і дивним, що залишився в пам’яті людей як ранній не надто вдалий приклад синтезу відео, що може бути корисним для подальших порівнянь з розвитком моделей ШІ.
Розробник додатків на базі ШІ Хаві Лопес брався до справи для зацікавлених фанатів спагетті раніше цього тижня з Veo 3, провівши тест зі Смітом і опублікувавши результати в соціальній мережі. Однак, як ви помітите, коли переглянете, звукова доріжка має цікаву особливість: фальшивий Сміт, здається, хрумтить спагетті.
На платформі, Хаві Лопес просував “Вілл Сміт їсть спагетті” в генераторі відео Veo 3 від Google і отримав цей результат.
Це збій у експериментальній можливості Veo 3 застосовувати звукові ефекти до відео, ймовірно, через велику кількість прикладів з жувальними ротами з хрумтячими звуковими ефектами, використаними у навчальних даних для створення моделей штучного інтелекту Google. Генеративні моделі ШІ є машинами для передбачення на основі виявлення патернів, і їм потрібно показати достатньо прикладів різних типів медіа, щоб генерувати правдоподібно нові висновки. Якщо концепція перенасичена або недопредставлена у навчальних даних, ви побачите незвичайні результати генерації, такі як незрозумілі комбінації.