Перша велика мовна модель AMD OLMo стала доступною для всіх

AMD оголосила про випуск першої великої мовної моделі OLMo, орієнтованої на відкрите застосування в широкому спектрі завдань. Модель OLMo з мільярдами параметрів була навчена на графічних процесорах AMD Instinct MI250 і стала частиною відкритої екосистеми, що дозволяє розробникам не тільки використовувати її, але й вносити покращення. Модель доступна всім бажаючим.

Модель AMD OLMo включає кілька фаз навчання, в яких реалізовані потужні здібності до міркування, розуміння інструкцій і ведення діалогів. На першому етапі базова версія моделі була навчена на наборі даних Dolma v1.7, а потім покращена за допомогою спеціалізованих наборів, таких як Tulu V2 і OpenHermes-2.5, для підвищення точності в науці, програмуванні та математиці. У останній версії — AMD OLMo 1B SFT DPO — реалізована адаптація до людських вподобань, що дозволяє точніше інтерпретувати запити користувачів.

Тести показали, що моделі OLMo перевершують аналоги в оцінках продуктивності та багатозадачності. AMD повідомляє, що OLMo перевершила такі відкриті моделі, як TinyLlama і MobiLlama, показавши значне покращення в бенчмарках, включаючи приріст точності на 5,09% в MMLU і на 15,32% в GSM8k. У тестах на виконання інструкцій моделі OLMo обійшли конкурентів в AlpacaEval 2 Win Rate на 3,41%, а в діалогових сценаріях MT-Bench покращили показники на 0,97%.

З виходом OLMo AMD зміцнює свої позиції на ринку ІІ, пропонуючи гнучкі рішення для застосування на базі графічних процесорів та процесорів AMD Ryzen AI з NPU, що дозволяє запускати моделі навіть на персональних пристроях.