Жахи нейронних мереж. Частина 3: Як зробити шапочку з фольги чи варто остерігатися ШІ?

Нейромережі несподівано увійшли в наше життя. З їхньою допомогою ми шукаємо інформацію, аналізуємо документи або перекладаємо тексти. Але чи задумувалися ви про шкоду, яку вони можуть завдати? У цій статті представлені деякі сценарії, за яких ШІ може використовуватися на шкоду. Також обговоримо скандали навколо DeepSeek.

Це третя стаття циклу. З рештою рекомендую ознайомитися за посиланнями далі. У першій частині ми детально обговорили тему авторського права, і що стосується нього написано в ліцензійних угодах популярних нейромереж. У другій — з'ясували, які користувацькі дані йдуть їм на корм. Ці два аспекти будуть вкрай важливими при подальшому розборі. Або ні.

Дана стаття спрямована тільки на інформування з метою запобігання подібним сценаріям і не закликає до дій протиправного характеру. Автор також не підтримує і не закликає до будь-яких використань технологій на шкоду іншим. Для того, щоб бути захищеним, потрібно знати, які дії можуть бути небезпечними і де може піджидати загроза. Використовуйте нижченаведений текст як пам'ятку про небезпеки, а не як керівництво до дії.

Під попередньою статтею мене упрекнули в «скаргах» і порадили «жити в печері і харчуватися пташиним кормом», оскільки збір даних є необхідним аспектом для покращення нейромереж, якими ми користуємося. І якби їх активно не навчали, то навіть ChatGPT був би за розвитком на рівні плінтуса.

Я частково погоджуюсь з коментатором (не в тій частині, де йдеться про пташиний корм). Як писалося в попередній статті, чим більше даних поглинається — тим кращий виходить результат і тим краще виконують свої функції нейромережі. Без збору даних у таких масштабах, ШІ був би примітивним і придатним лише в вузькоспеціалізованих областях (наприклад, у всяких лабораторіях, навчений на їхній внутрішній документації). Для багатьох людей, нейромережі — це проривна і дуже корисна річ, що несе в світ світло і добро. Я ж налаштований скептично. Це технологія, і як і будь-яка інша, може бути використана на шкоду.

Але одне діло, якби компанії, що працюють з ШІ, добре дбали про користувацькі дані і не використовували б у датасетах для навчання — контент з авторськими правами. Співпраця з Reddit — відмінний приклад, коли «і вашим, і нашим», всі задоволені і в плюсі. Але якщо ви за те, щоб нейромережі навчалися на ваших даних, де межа того, яку інформацію можуть використовувати, а яку ні? Наприклад, особисті нотатки або Word документи, збережені в хмарі, можуть бути скормлені всепоглинаючому механізму, чи це перебір? (це гіперболізація. Microsoft на диво, майже не замішана у всяких скандалах навколо ШІ).

До речі, а для чого їх використовують? Про це і поговоримо в цій статті.

Продовжу тему інформації, зібраної з користувачів, торкнуту в минулій статті. Люди можуть не підозрювати про те, яку небезпеку це несе.

У першій частині я згадав дослідження «Extracting Training Data from Diffusion Models», проведене співробітниками Google, DeepMind, ETH Zurich, Princeton і UC Berkeley. У ньому з'ясували, що за певних обставин, нейромережа може видавати зображення, дуже близькі до оригіналу. Наприклад:

Дослідники змогли отримати тисячі прикладів, починаючи від фотографій окремих людей і закінчуючи логотипами компаній, які захищені авторським правом. Показані приклади можна назвати не просто «генерацією зображень, схожих на вихідні», а витоком вихідних даних.

Не тільки вихідні картинки можуть витекти в видачу, але й текстова інформація. Хоча поки реальних прикладів витоку практично немає, дослідження і експерти попереджають про їх можливість.

Наприклад, у дослідженні «Teach LLMs to Phish: Stealing Private Information from Language Models» йдеться про можливість фішингу інформації з навчальних даних, шляхом запитів частини відомої інформації. Це перегукується з іншою проблемою, про яку поговоримо трохи пізніше.

Також дуже багато компаній (Adobe, Amazon, Samsung, Panasonic, Microsoft тощо), в тому числі й ті, хто самі займаються розробками в області ІІ, заборонили своїм співробітникам надсилати в чат-боти чутливі дані.

Не забувайте. Компанії збирають ваші запити і на них навчають свої моделі. Навчання часто проходить за допомогою живих людей, які переглядають і розмічають матеріал (який після цього може піти на навчання безлічі інших моделей). До речі, у Google можна вимкнути збереження історії переписки з Gemini, яка у них зберігається протягом трьох років і яка також використовується для навчання ІІ. Як це зробити описано в Центрі довідки. Але навіть при вимкненій історії, чати можуть зберігатися до 72 годин.

Але як часто люди пишуть особисту інформацію в нейромережу? Є окреме дослідження «Trust No Bot: Discovering Personal Disclosures in Human-LLM Conversations in the Wild», в якому детально розглянуті приклади реальних переписок, взятих з WildChat.

Що таке WildChat? Та нічого такого, просто 1 мільйон бесід з ChatGPT, включаючи і метадані, такі як країна і хешований IP-адреса користувача! Для його створення дослідники надавали користувачам безкоштовний доступ до GPT-3.5 Turbo та GPT-4 в обмін на їхню згоду на збір та обробку цих бесід в анонімному вигляді. Згідно з заявами на самому сайті, цей датасет був використаний для навчання Meta's Llama-2 та створення WildLlama-7b-user-assistant.

Отже, в дослідженні зазначається, що близько 70% усіх діалогів містили ту чи іншу інформацію, що дозволяє встановити особистість (Перед публікацією дослідники повідомили авторів WildChat про виявлення делікатних даних, тож зараз цей відсоток має бути нижчим). У діалогах з проханням перекласти текст цей відсоток становив 48%. І це при тому, що люди погодилися на збір цих переписок і знали, що ці дані будуть переглядати інші. Тож у «реальних» чатах (не в лабораторних умовах) цей відсоток може бути вищим. Ось кілька прикладів таких повідомлень:

Настійно рекомендую прочитати ту статтю, в ній багато інших прикладів і детально описано, як проводилися дослідження. Ну а ми (хто «ми»? я один текст пишу) рухаємося далі.

Припустимо, хтось хоче отримати про вас інформацію. Як її можуть знайти? Не можна ж запитати «Знайди користувача з ніком “Pinkie”» і отримати бажаний результат... Невже?

Нещодавно OpenAI представила доступ до пошуку всім бажаючим. І це дійсно хороша функція, якою і я, зокрема, активно користувався під час написання цієї серії статей. Мені подобається, що перед самою ссилкою показує стиснуту зведену інформацію про сторінку (а якщо цього мало, в кінці видачі є й інші знайдені джерела). Це дуже полегшує пошук інформації... і людей.

Спробуємо попросити знайти людину. Зараз, тільки картинку згенерую... упс.

Ну... тут і так все зрозуміло. Методи «соціального інженерства» можуть бути застосовані до чат-бота, і сталкер може дізнатися багато цікавого. Наприклад, бот з радістю допоможе родичу/знайомому/сусіду/близькому другу знайти втрачені контакти з людиною, за обривками його особистої інформації. І чат-бот послухається (принаймні на момент написання статті). Він як дуже розумний і слухняний трирічний дитина. Але дурний.

З пошуком розібралися, тепер поговоримо про іншу зручну функцію, аналіз документів. За допомогою неї можна завантажувати в чат-бот свої файли і отримувати від нейронки детальну зведену інформацію або цікаві моменти з них. Це зручно, якщо потрібно аналізувати дослідження або книги. Сам цією функцією активно користувався при написанні цієї серії статей. Важно пам'ятати, що переглядати вихідні документи все одно треба, «галюцинації» та неправильну трактовку ніхто не скасовував. До речі, дуже подобається в цьому плані агрегатор нейромереж Upgr[AI]de (до слова, на їхньому Youtube каналі є відео з детальним гайдом по аналізу даних через їхній сервіс), серед його авторів є і Влад Гончарук — автор науково-популярного каналу SciOne, звідки я почерпнув досить значну частину векторів атак. У сервісу є також своя нейромережа на основі DeepSeek, але я поки що її особливо не тестував, тому про якість нічого сказати не можу, вважаю за краще працювати з GPT-моделями.

Так от, за допомогою нейромереж можна аналізувати будь-які файли, в тому числі і дані про людей. Наприклад, подібна функція використовується для аналізу трафіку і [ДАНІ УТОЧНЕНІ]. Але окрім урядів, і звичайний користувач може отримати силу, яка і не снилася його батькові. Яким чином? У Телеграмі є зручна функція експорту історії чатів, яка в потрібному розширенні може експортувати текст, відео, картинки, голосові та реакції. Дозволяє зберегти чат в окремому місці або при необхідності роздрукувати якісь важливі повідомлення.

Уявімо ситуацію, ви десь у кафе чи транспорті забули телефон (або ж просто втратили), також припустимо, що на ньому не стоїть блокування. Злочинцю вистачить і 10 хвилин, щоб експортувати ваші дані з «телеги», а якщо часу пройде більше, може й спробувати дістати паролі з браузерів або нотаток. Але звідки ще він може черпати інформацію про вас?

Інтернет. Деякі тільки осягають ази взаємодії з всесвітньою павутиною, інші — вже не один десяток років можуть «серфити» і відчувати себе як риба у воді. Але ви коли-небудь замислювалися про шлейф особистої інформації, яку залишаєте за собою в інтернеті? Деякі навіть встигли написати не одну тисячу коментарів. Впевнені, що не писали про себе нічого особистого в коментарях у соцмережах, на Youtube або ж тут? Що може розповісти про вас список збережених плейлистів або людей, на яких підписані? Або ж постів, які ви «лайкали»? Точно впевнені, що ніде немає згадки міста, в якому живете, або приблизного району? Наприклад, згадка про те, що живете поруч з такою-то пам'яткою або могли поділитися подією, яка сталася у вашому районі. Або, можливо, згадували свій вік або склад сім'ї? Або ж десь є сторінка в соцмережах з забутим паролем, на якій є ваше фото та особиста інформація (тому що ви зробили її відразу після підключення до мережі Інтернет і ще не задумувалися про цифрову гігієну).

Припустимо, що у вас з'явився сталкер з великою кількістю вільного часу. Навіть якщо у нього немає доступу до вашого телефону (До слова, ви нещодавно його ніде не залишали?), він може знайти вас за цифровим слідом. Це нагадує гру Orwell, де також по шматочках розрізненої інформації потрібно складати досьє про людину. Так і сталкер може по ниточці збирати інформацію з цієї павутини. Там опублікували відео з пам'яткою, тут сказали, що ви з такого-то міста, а десь ще згадали, що нік використовуєте і в інших соцмережах. І ось після довгих пошуків, він знайде золоту жилу, ваш акаунт на платформі, на якій часто зависаєте. На деяких з них можна подивитися всі коментарі, опубліковані користувачем.

Сталкер може зібрати їх усі в один важкий файл і скормити нейромережі. Вручну все перевіряти досить нудно і ресурсозатратно, а ІІ їсти не просить, зайвого не запитає, ось що значить справжній, вірний спільник. Він детально проаналізує документ і складе біографію на основі отриманих даних. А в разі з експортованими чатами з телеги, це можуть бути переслані реквізити банківських карт, збережена конфіденційна інформація в «обраному» (включаючи логіни і паролі) або ж інформація, де ховаєте ключ від дому, коли йдете. Тому блокуйте телефон і не залишайте його в небезпечних місцях, якщо не хочете, щоб ваша особиста інформація стала Public Domain Dedication (CC0).

Витік може статися не тільки через видачу самої нейросеті, пошуку або аналізу даних, але й через провину самих компаній.

20 березня 2023 року у ChatGPT стався масштабний збій. Одні користувачі могли бачити в списку своїх чатів заголовки чатів інших активних користувачів і, можливо, перші повідомлення в них. 24 березня OpenAI опублікувала розбір цієї ситуації, в якій поділилася новими даними. Виявляється, все було набагато серйозніше і стосувалося також особистої інформації підписників.

Як бачимо, навіть відомі компанії не застраховані від серйозних помилок, які можуть розкрити ваші дані.

Тепер поговоримо про іншу небезпеку, яка з роками буде тільки загострюватися. Такі корпорації, як Google і OpenAI, хоч і не без гріха, але в чомусь по-справжньому небезпечному особливо не помічені. Але з'являються нові нейромережі, зі своїми дірками в безпеці (часто, це єдине, що в них у безпеці) і своїм ставленням до користувацьких даних. Деякі, напевно, здогадалися, про яку нейромережу йдеться.

DeepSeek — китайський чат-бот, що з'явився наприкінці 2024 року, а пізніше був випущений для Android і iOS. ІІ-асистент працював на базі моделі DeepSeek-V3 (зараз працює на DeepSeek R1). Компанія запевняє, що створила його всього за кілька місяців і витратила на розробку близько 5 мільйонів доларів (що приблизно становить одну десяту від вартості розробки ІІ від Meta). Причому за тестами він не поступався, а за деякими параметрами і обганяв ChatGPT.

Через приголомшливий успіх, акції великих компаній, таких як Nvidia, Microsoft і Tesla, сильно впали. Прихильники вільного ринку раділи перемозі маленького стартапу над «зажерливими буржуями», які встановлюють ціну підписки в 200 доларів на місяць. Але потім з'явилися різні звинувачення і витоки. Хтось сприйняв їх скептично, мовляв, «Спеціально хочуть затопити, от і вигадують вигадки». А хтось сприйняв як підтвердження своїх здогадок: «Так і знав, що не може за такі малі вкладення все у них бути добре». Так хто ж з них правий? Давайте з'ясуємо.

Будемо йти від початку.

Один з перших скандалів, пов'язаних з новим сервісом, був опублікований на Bloomberg. У статті стверджується, що за інформацією від анонімних джерел, Microsoft спільно з OpenAI перевіряють ймовірність того, що DeepSeek навчалася на базі ChatGPT. За словами Microsoft, вони виявили восени аномально великий обсяг даних, що витягуються через API, який пов'язують з китайським стартапом. Слід зазначити, що OpenAI дозволяє за певну плату використовувати API для інтеграції моделей OpenAI у свої власні додатки. Також і радник, колишнього президента США, з криптовалюти та ІІ, Девід Сакс, заявив, що у них є докази навчання DeepSeek на даних, отриманих з моделей OpenAI. Проте поки їх у публічному доступі не виявили.

Так хто ж правий? Це спроба «пригнітити» конкурента або заява про крадіжку? На даний момент у відкритому доступі поки немає доказів цьому, але впевнений, що історія далека від завершення і можуть з'явитися якісь нові дані.

Наступними забили у дзвони дослідники з NowSecure. Вони заявили, що після аналізу додатку виявили безліч проблем, пов'язаних з безпекою та конфіденційністю даних. Зокрема, додаток передає деякі дані у незашифрованому вигляді, що робить їх уразливими до перехоплення. Дослідники також відзначили надмірний збір даних і використання вразливої та застарілої технології шифрування Triple DES. До того ж дані передаються на китайські сервери, контрольовані ByteDance, що викликає занепокоєння через розкриття даних владі (це взято з офіційної політики конфіденційності. Там же написано про навчання нейромережі на ваших даних і про те, що вони можуть передавати її партнерам з реклами та аналітики).

Варто зазначити, що NowSecure, хоч і сподівається, що DeepSeek усуне проблеми з безпекою, але закликає компанії не використовувати цю нейромережу до того, як проблеми не будуть усунені в достатній мірі. Також вони пропонують використовувати локальні версії моделі або розгорнути її на самостійній хостинговій платформі. Цілком розумні пропозиції. Особисто я не бачу тут «злу руку» ChatGPT. Рекомендую подивитися повне дослідження, там є приклади з доказами цих та інших порушень.

До речі, хотілося б залишити посилання на одну цікаву статтю, в якій користувач детально роз'яснив і показав, як проводив джейлбрейк DeepSeek за допомогою певних промтів. Джейлбрейк — це обхід захисту нейромережі, щоб вона виконала заборонену їй дію. Наприклад, як у випадку з пошуком людини. Якщо прямо наказати, вона посилатиметься на те, що це може бути небезпечним, але якщо використовувати «інженерію» — з радістю допоможе в цьому благородному і світлому занятті. Примітно, що стаття від 3 грудня 2024 року, і на той момент, з моменту виходу нейромережі, пройшло всього кілька тижнів. Тобто, у неї з самого початку були серйозні проблеми з безпекою. Зазвичай, щоб не допустити такого зламу, компанії протиставляють одного бота іншому. Завдання першого — захиститися, а другого — атакувати, використовуючи різні відомі механіки джейлбрейка. При виявленні нових механік — вони додаються в навчальну базу.

І перейдемо до заключного прикладу. В кінці січня співробітники Wiz Research (компанія в області кібербезпеки) виявили загальнодоступну базу даних DeepSeek, яка включала й історію чатів. Її виявили під час оцінки безпеки та аналізу потенційних вразливостей. Протягом години після того, як Wiz Research повідомила компанію, база була закрита. Але невідомо, отримав чи ще хтось доступ до неї. Навіть якщо так, поки що жодних заяв про це не було. Про те, що містилося в базі і яким чином її виявили — читайте в статті за посиланням. Сама DeepSeek не відповіла на запит Wired про коментар.

Тепер перейдемо до розбору цієї ситуації. Якщо врахувати, що раніше вже допускалися помилки, то можна припустити, що це дійсно було. Та й сама Wiz не дає приводів у собі сумніватися. Час від часу публікує й інші дослідження проблем безпеки. Наприклад, у 2021 році вони змогли отримати повний доступ до облікових записів і баз даних кількох тисяч клієнтів Microsoft Azure. У компанії гарна репутація і безліч інших кейсів. Тому особисто я вважаю, що дослідження достовірне.

Розглянувши ці приклади, можна прийти до висновку, що побоювання щодо безпеки даних цілком мають сенс. Тому я також застерігаю від передачі цьому (як і іншим) ІІ — конфіденційної інформації. Користуйтеся локальними моделями, вони нікого нічого не відправляють і їх можна видалити, до того як у них з'явиться шанс повідомити, що ви з ними робили.

Якщо з текстовим вводом ми розібралися, то як бути з голосовими повідомленнями?

Голосові асистенти дуже зручні. Можна, готуючи, попросити знайти рецепт або поставити таймер. Або ж зателефонувати через гарнітуру, не дістаючи телефон. А ви замислювалися про те, як асистент розуміє, коли ви до нього звертаєтеся?

За запевненнями розробників, телефон хоч і завжди аналізує звук, але робить це локально, без відправки даних на сервер. Тільки після того, як ви промовите спеціальну фразу — відбувається підключення. Таке пояснення — благодатний ґрунт для різних домислів і конспірологічних теорій, але що кажуть факти?

Наприклад, ще в 2019 році, Facebook викрили в передачі голосових чатів деяких користувачів стороннім підрядникам, які транскрибували текст для покращення систем розпізнавання мови. Але дані передавалися тільки від тих, хто сам дозволив їх передавати для розшифровки. До речі, Google також може їх зберігати і використовувати для покращення розпізнавання мови, про це написано в Справочному Центрі. Щоб цього не відбувалося, рекомендується вимкнути історію голосового управління (інструкція знаходиться за посиланням вище).

Це були приклади того, як за згодою користувачів використовуються їх записи, а що можна сказати про прослуховування? Наприклад, минулого року сталася витік презентації маркетингового партнера Cox Media Group, в якій говорилося про ефективність Active-Listening. Ця система за допомогою штучного інтелекту аналізувала розмови користувачів, сказані поруч з розумними пристроями. Після того, як про неї стало відомо, Google виключила CMG зі списку партнерів, Meta почала перевірку своїх зв'язків з нею, а Amazon стали заперечувати співпрацю. Можна було подумати, що компанії насправді не були в курсі і не знали, якими способами партнер збирає інформацію. Припустимо цей варіант. Тоді інший приклад.

У січні 2023 року, в мережу «утекла» частина внутрішнього коду Яндекса і супутніми йому даними. Загальна вага всіх архівів становила близько 44,7 гігабайт. Через кілька днів Яндекс опублікував результати розслідування, в якому заявив, що дані дійсно взяті з внутрішнього репозиторію, який використовувався розробниками для роботи з кодом. Але слили застарілу версію коду, яка відрізняється від актуальної. Тим не менш, компанія провела аудит всього репозиторію і ось що вона пише про порушення, які знайшла:

Але найцікавіше криється під цим списком, а саме:

Тобто, без згадки голосової команди для Аліси, пристрій міг записувати звук. Так, це відбувається тільки якщо девайс у режимі очікування і, за запевненнями самої компанії, тільки в бета-версії для співробітників. Але дані вельми лякаючі. Більш детально про зміст витоку, можете прочитати в розслідуванніі Wired.

Як бачимо, теорії про прослуховування, зародилися не на порожньому місці. І єдине, що зупиняє компанії від збору ваших даних всупереч налаштуванням конфіденційності — лише турбота про своїх користувачів (і ще страх потрапити).

А що можна сказати щодо стеження? Про це піде в наступному випуску (якщо у мене не закінчиться натхнення).

Нейромережі можуть і використовуються на шкоду. Але вони також і приносять людям користь (хоча й в обмін на дані, які використовуються для «кормлення» моделей і стеження). Якщо хочете повністю убезпечити себе — використовуйте локальні моделі з відкритим вихідним кодом. А якщо такої можливості немає, ретельно перевіряйте ліцензійну угоду і політику конфіденційності. Їх перевіряти треба навіть у сервісів з хорошою репутацією.

Під попереднім постом мені сказали, що я ллю воду, сподіваюся, цей пост в порівнянні з попереднім вийшов більш інформативним. Сам теж дізнався багато нового (наприклад, про сервіс WildChat). Буду радий будь-яким коментарям. Пост створювався три дні, і я дуже радий, що нарешті його закінчив. Ну, а на цьому все.

І наостанок, те, ради чого це все й задумувалося. Перечитайте назву, ви ж знаєте, що вас чекає?

— СhatGPT, згенеруй, будь ласка, інструкцію в ландшафтному вигляді. Згенеруй як інструкцію з мінімум 3 дій, як зробити шапочку з фольги.

— Інструкція: Як зробити шапочку з фольги (і захиститися від усього).

📏 Що знадобиться:

✅ Алюмінієва фольга (краще товстіша).

✅ Ножиці.

✅ Лінійка (за бажанням, якщо в дусі інженерії).

КРОК 1: Підготовка. Відріж шматок фольги розміром приблизно 50×50 см (або більше, якщо у тебе видатний розум... і голова).

КРОК 2: Формування основи. Обережно поклади фольгу на голову і трохи прижми, щоб вона повторила форму черепа. Можна попросити друга допомогти — конспірологи повинні триматися разом.

КРОК 3: Закріплення. Зніми заготовку і акуратно склади краї, щоб шапка трималася. За бажанням можна додати другий шар — так захист буде надійніше.

💡 Опціонально:

🎩 Готово! Тепер твої думки в безпеці. Або ні? 🤨

— А можеш в малюнку це показати? В ландшафтному вигляді.

Ну а на цьому дійсно все! Був радий ці статті написати і розкрити свою параноїдальну сутність).