Європейський стартап Pruna AI офіційно відкриває свою оптимізаційну платформу, що дозволяє стискати моделі штучного інтелекту без втрати якості. Завдяки інноваційним алгоритмам стартап об’єднує кешування, скорочення, квантування та дистиляцію, роблячи моделі ефективнішими, легшими та швидшими.
Стартап Pruna AI
Сучасні моделі штучного інтелекту стають все більшими, вимагаючи величезних обчислювальних ресурсів. Це підвищує витрати та робить їх важкими для інтеграції у мобільні пристрої або веб-сервіси. Багато компаній, включаючи OpenAI, вже використовують методи стиснення, щоб покращити продуктивність своїх моделей, наприклад, GPT-4 Turbo.
Pruna AI пропонує єдине рішення, що спрощує процес оптимізації моделей і дозволяє розробникам легко інтегрувати його у свої проекти. За словами співзасновника та технічного директора Джона Рачвана, компанія створює універсальний фреймворк, який автоматично оцінює втрати якості після стиснення, вимірює приріст продуктивності, стандартизує процес збереження та завантаження оптимізованих моделей
Найближчим часом Pruna AI випустить інноваційного агента стиснення, який самостійно знаходить найкращі комбінації методів. Розробник просто задає параметри, а агент сам вибирає оптимальні налаштування без ручного втручання.
Pruna AI підтримує великі мовні моделі, моделі дифузійної генерації зображень, моделі перетворення мови в текст тощо.