Представлений дивовижний експеримент з запуску мовної моделі Llama 2 на старому ПК з Windows 98. Дослідники поділилися результатами роботи у вигляді короткого відеоролика на платформі X, в якому показані унікальні етапи проєкту. Однією з основних складностей стала завантаження даних моделі через протокол FTP на старий ПК з процесором з частотою 350 МГц.
Ще більш складним виявилося написання 700 рядків коду на мові C для компіляції сучасного коду під Windows 98, що дозволило адаптувати модель для старої архітектури. В результаті Llama 2 продемонструвала швидкість роботи трохи більше 1 токена за секунду, в той час як більш нова версія моделі, Llama 3.2 1B, змогла видати всього 0,0093 токена за секунду.
Мощный взрыв ностальгии! Кажется внутри slot1.
Если правильно понимаю, Пень 2 350мгц со токеном обстоит лучше чем современные, то ретропарк в строю... наверно.