Команда дослідників з OpenAI детально розібралася, чому мовні моделі, подібні до ChatGPT, іноді видають вигадані або хибні факти. Виявилося, проблема в значній мірі полягає в самій системі їх навчання та оцінки, яка заохочує моделі вгадувати, а не визнавати відсутність відповіді.
Спеціалісти проводять аналогію зі студентом на іспиті. Якщо за порожню відповідь ставлять нуль, а за вгаданий варіант — хоча б якийсь бал, то завжди вигідніше обирати друге, так само і з штучним інтелектом, адже всі тести для оцінки моделей, такі як MMLU, працюють за бінарним принципом «правильно/неправильно». Модель, яка стверджує «не знаю», автоматично отримує нуль, тоді як та, що ризикує і вгадує, іноді виявляється права, таким чином алгоритми вчаться блефувати.
Ця проблема зароджується ще на етапі попереднього навчання моделі на великих масивах тексту. Деякі факти, особливо рідкісні, статистично майже неможливо передбачити абсолютно точно, однак остаточний паттерн до «вгадування» закріплюється пізніше, коли розробники натаскують модель на проходження тестів, що заохочують високі бали за точність.
У своєму дослідженні OpenAI пропонує змінити сам підхід до оцінки роботи нейромереж, адже на думку авторів, потрібно серйозно штрафувати модель за впевнену брехню, але при цьому давати часткові бали за коректне вираження невпевненості або відповідь «не знаю». Це змістить фокус з створення «найрозумніших» моделей на розробку більш надійних і правдивих асистентів.
Експерти підкреслюють, що галюцинації — це не містичний збій, а системна проблема, корені якої добре вивчені, але навіть сучасні просунуті моделі не застраховані від цього, і перегляд систем оцінки може стати ключем до створення ІІ, який буде краще усвідомлювати межі своїх знань.