Allen Institute for Artificial Intelligence (Ai2) – некомерційна дослідницька організація, заснована одним з фундаторів Microsoft Полом Алленом. У вівторок 26 листопада вона представила нове сімейство моделей штучного інтелекту OLMo 2. Це друга версія серії OLMo, яка позиціонується як одна з небагатьох мовних моделей, що відповідає строгим критеріям відкритого коду від Open Source Initiative.
Особливості OLMo 2
OLMo 2 побудовано на повністю відкритій інфраструктурі. Модель має відкриті навчальні дані, код для навчання, методики тренувань та оцінки, проміжні контрольні точки тощо. Метою проекту є надання спільноті всіх ресурсів для створення нових інноваційних підходів у галузі генеративного ШІ.
До складу сімейства OLMo 2 входять дві моделі: OLMo 7B на 7 мільярдів параметрів та OLMo 13B на 13 мільярдів параметрів. Кількість параметрів визначає здатність моделі розв’язувати складні завдання: чим більше параметрів, тим точніша та ефективніша модель.
OLMo 2 може виконувати широкий спектр текстових завдань. Вона здатна відповідати на питання, підсумовувати інформацію та генерувати код. Для навчання було використано набір даних обсягом 5 трильйонів токенів. Серед них веб-сайти, академічні статті, форуми, математичні робочі зошити.
Ai2 стверджує, що OLMo 2 є конкурентоспроможною з іншими моделями відкритого коду, зокрема Llama 3.1 від Meta. Ба більше, OLMo 7B перевершує модель Llama 3.1 8B за продуктивністю в ряді тестів. Усі компоненти OLMo 2, включно з навчальним кодом, доступні для завантаження на офіційному сайті Ai2 під ліцензією Apache 2.0, що дозволяє їх комерційне використання.