Аналіз кодогенеруючих нейромереж виявив несподівану проблему: моделі масово «винаходять» неіснуючі програмні компоненти, відкриваючи лазівки для кібератак. Дослідники з Техаського університету в Сан-Антоніо перевірили 576 тис. фрагментів коду, створених 16 популярними ІІ-моделями, включаючи GPT-4 та Claude. У 19,7% випадків алгоритми посилалися на вигадані бібліотеки — всього 440 тис. помилкових залежностей.
Зловмисники можуть зареєструвати пакети з іменами, які ІІ часто генерує помилково, і наповнити їх шкідливим кодом. Коли розробники встановлять такі компоненти, не перевіривши їхню автентичність, шкідлива програма активується. В експерименті тестові пакети з вигаданими назвами завантажили десятки тисяч разів.
Деталі дослідження:
Техніка Dependency Confusion дозволяє підмінити легальний пакет шкідливим, використовуючи збіг імені. Наприклад, зловмисник публікує в репозиторії пакет з трояном. Якщо ІІ порекомендує його замість офіційного, розробник, не перевіривши джерело, встановить небезпечний код.
Прогноз Microsoft, що до 2030 року 95% коду буде генерувати ІІ, робить ці рекомендації особливо актуальними. Поки нейромережі не навчилися відрізняти вигадку від реальності, відповідальність за безпеку залишається за людьми.
Зато нейронка кодит быстрее людей, это да.
И как бы странный вывод в тексте. Любой программер даже если отдаёт рутину нейронке он же всё ровно потом проверяет код и правит всё что непонравилось.