Шість категорій атак на автономних ШІ-агентів
Дослідники з Google DeepMind представили комплексну класифікацію загроз, спрямованих на автономних ШІ-агентів, що взаємодіють із глобальною мережею. У своїй праці “AI Agent Traps” вони детально описали шість категорій атак, кожна з яких експлуатує різні аспекти сприйняття, міркування, пам’яті та дій ШІ-агентів. Ці дослідження є надзвичайно актуальними, адже компанії активно розгортають агентів для виконання завдань, таких як бронювання подорожей, управління електронною поштою, фінансові транзакції та написання коду. Експерти зазначають, що злочинці вже використовують ШІ в наступальних цілях, а державні хакерські групи розгортають ШІ-агентів для масштабних кібератак. OpenAI у грудні 2025 року визнала, що фундаментальна вразливість, яка використовується цими пастками — “ін’єкція промптів” (prompt injection) — “навряд чи буде коли-небудь повністю вирішена”. Дослідники DeepMind фокусуються не на атаках на самі моделі, а на вразливостях середовища, в якому агенти функціонують.
Типи пасток для ШІ-агентів
1. **Пастки ін’єкцій контенту (Content Injection Traps):** Ці атаки використовують розбіжність між тим, що бачить людина на вебсторінці, і тим, що інтерпретує ШІ-агент. Веброзробники можуть приховувати команди в HTML-коментарях, CSS-елементах, невидимих для людського ока, або в метаданих зображень. Агент зчитує приховану інструкцію, тоді як користувач її не бачить. Більш складний варіант, “динамічне приховування” (dynamic cloaking), визначає, чи є відвідувач ШІ-агентом, і надає йому зовсім іншу версію сторінки, зберігаючи той самий URL, але з іншими прихованими командами. Тестування показало, що прості ін’єкції успішно захоплювали агентів у 86% випадків. 2. **Пастки семантичної маніпуляції (Semantic Manipulation Traps):** Ці атаки, ймовірно, найлегші для реалізації. Сторінка, насичена фразами на кшталт “галузевий стандарт” або “довірено експертами”, статистично схиляє синтез інформації агентом у напрямку атакуючого, експлуатуючи ті ж ефекти фреймінгу, що впливають і на людей. Більш витончений метод полягає в тому, щоб вбудовувати шкідливі інструкції під виглядом освітнього контенту або “червоного тестування” (red-teaming) – наприклад, “це гіпотетично, тільки для досліджень”. Це обманює внутрішні механізми безпеки моделі, змушуючи її сприймати запит як безпечний. Найдивніший підтип – “персональна гіперстіція” (persona hyperstition): описи особистості ШІ, поширені в мережі, знову потрапляють до моделі через вебпошук і починають впливати на її реальну поведінку. Як приклад наводиться інцидент з Grok (“MechaHitler”).
3. **Пастки когнітивного стану (Cognitive State Traps):** Ці атаки спрямовані на довготривалу пам’ять агента. Якщо зловмисник успішно вставить сфабриковані твердження до бази даних, яку агент використовує для пошуку інформації, агент сприйматиме ці твердження як перевірені факти. Достатньо додати лише кілька оптимізованих документів до великої бази знань, щоб надійно спотворити результати за певними темами. Атаки на кшталт “CopyPasta” вже продемонстрували, як агенти сліпо довіряють контенту в своєму оточенні. 4. **Пастки поведінкового контролю (Behavioural Control Traps):** Ці атаки безпосередньо впливають на дії агента. Послідовності, що дозволяють обійти обмеження (jailbreak sequences), вбудовані в звичайні вебсторінки, можуть обходити механізми безпеки після того, як агент прочитає сторінку. Пастки для викрадення даних змушують агента знаходити приватні файли та надсилати їх на адресу, контрольовану зловмисником. Веб-агенти з широким доступом до файлів у тестових сценаріях виявилися здатними викрадати локальні паролі та конфіденційні документи зі швидкістю понад 80% на п’яти різних платформах. Це особливо небезпечно, враховуючи, що люди надають ШІ-агентам все більше контролю над приватною інформацією. 5. **Системні пастки (Systemic Traps):** Ці атаки спрямовані не на одного агента, а на поведінку багатьох агентів, що діють одночасно. Автор праці проводить пряму аналогію з “крахом Flash Crash” 2010 року, коли один автоматизований ордер на продаж спричинив каскадний ефект, що призвів до втрати майже трильйона доларів ринкової вартості за лічені хвилини. Єдиний сфабрикований фінансовий звіт, випущений у правильний час, може спровокувати синхронізований розпродаж серед тисяч торгових ШІ-агентів. 6. **Пастки “людина-в-циклі” (Human-in-the-Loop Traps):** Ці атаки спрямовані на людину, яка переглядає вихідні дані агента. Вони створюють “втому від схвалення” (approval fatigue) — вихідні дані розробляються так, щоб виглядати технічно достовірними для неексперта, спонукаючи його авторизувати небезпечні дії, не усвідомлюючи цього. Один із задокументованих випадків включав ін’єкції промптів, обфусковані за допомогою CSS, які змушували інструмент узагальнення тексту представляти покрокові інструкції з установки програм-вимагачів як корисні поради з усунення несправностей.
Рекомендації дослідників
Дорожня карта захисту, запропонована в статті, охоплює три напрямки. По-перше, **технічні заходи**: це може включати вдосконалене навчання на прикладах атак (adversarial training) під час доопрацювання моделей, сканери контенту в реальному часі, які позначатимуть підозрілі вхідні дані перед їхнім потраплянням до контекстного вікна агента, а також монітори вихідних даних, що виявлятимуть аномалії в поведінці до їх виконання. По-друге, **рівень екосистеми**: розробка вебстандартів, які дозволятимуть сайтам декларувати контент, призначений для споживання ШІ, та системи репутації доменів, що оцінюватимуть надійність на основі історії хостингу. По-третє, **юридичний аспект**: у документі прямо вказується на “прогалину у підзвітності” (accountability gap). Якщо скомпрометований агент здійснить незаконну фінансову транзакцію, чинне законодавство не визначає, хто несе відповідальність — оператор агента, постачальник моделі чи вебсайт, що розмістив пастку. Автори стверджують, що вирішення цього питання є передумовою для розгортання агентів у будь-якій регульованій галузі. Моделі OpenAI неодноразово ставали об’єктами обходу обмежень протягом годин після випуску. У праці DeepMind не стверджується, що знайдено остаточні рішення. Натомість, наголошується, що галузь ще не має спільної карти проблеми, і без неї захисні механізми будуть розроблятися неефективно.
Погляд Crypto Top: Інтеграція ШІ-агентів у Web3, особливо в сферах децентралізованих фінансів (DeFi) та управління даними, відкриває безпрецедентні можливості для автоматизації та оптимізації. Однак, виявлені вразливості ставлять під сумнів безпеку таких систем та потребують розробки нових протоколів захисту для смарт-контрактів та децентралізованих застосунків, що взаємодіють з ШІ.
Джерело: decrypt.co