Корпорація Intel заявила про надзвичайні результати свого ШІ-прискорювача Habana Gaudi2, який продемонстрував високу ефективність в порівнянні з чипами NVIDIA H100 у бенчмарку MLPerf Inference 4.0.
Незважаючи на те, що чипи NVIDIA визнані бездоганними лідерами, Gaudi2 виявився єдиною альтернативою, що забезпечує високу швидкодію в розрахунку на долар.
Відзначається, що корпорація Intel продовжує розширювати підтримку найпопулярніших великих мовних моделей та мультимодальних моделей для платформи Gaudi2.
Нові результати тестів підтверджують вражаючу продуктивність Gaudi2, зокрема в порівнянні зі стабільними моделями Diffusion XL та Llama v2-70B.
У порівнянні з H100, Gaudi2 показав менші значення продуктивності для моделей Stable Diffusion XL та Llama v2-70B. Однак, враховуючи швидкодію розрахунку долара, Gaudi2 виявився виграшним в більшості завдань.
Наприклад, для Stable Diffusion XL, Gaudi2 забезпечив 6,26 та 6,25 вибірок за секунду для офлайн та серверного режимів відповідно, а для Llama v2-70B – 8035,0 та 6287,5 токенів в секунду відповідно.
Додатково, Intel також повідомила про покращення в продуктивності серверних процесорів Intel Xeon Emerald Rapids порівняно з Xeon Sapphire Rapids у бенчмарку MLPerf Inference v3.1.
Ці результати свідчать про постійні зусилля Intel у розробці та вдосконаленні технологій штучного інтелекту, що сприяє розвитку індустрії та надає більше можливостей для застосування ШІ в різних сферах діяльності.