Дослідники протестували нейромережу на Windows 98 — результат дивує

Представлений дивовижний експеримент з запуску мовної моделі Llama 2 на старому ПК з Windows 98. Дослідники поділилися результатами роботи у вигляді короткого відеоролика на платформі X, в якому показані унікальні етапи проєкту. Однією з основних складностей стала завантаження даних моделі через протокол FTP на старий ПК з процесором з частотою 350 МГц.

Ще більш складним виявилося написання 700 рядків коду на мові C для компіляції сучасного коду під Windows 98, що дозволило адаптувати модель для старої архітектури. В результаті Llama 2 продемонструвала швидкість роботи трохи більше 1 токена за секунду, в той час як більш нова версія моделі, Llama 3.2 1B, змогла видати всього 0,0093 токена за секунду.