Дослідники змогли вбудувати приховані сигнали в аудіозаписи, які непомітно змінюють поведінку ШІ-моделей.
Створіть обліковий запис, щоб зберігати статті.Додати в GoogleДодайте Decrypt як джерело за замовчуванням, щоб бачити більше наших матеріалів у Google.
Коротко
Дослідники з Університету Чжецзян розробили AudioHijack, який вбудовує непомітні для людини команди в аудіо для маніпуляції великими мовними моделями з успіхом 79–96%.
Атака перенеслася з відкритих моделей на комерційні голосові ШІ від Microsoft та Mistral; стандартні захисти зупинили лише невелику частину спроб.
Команда досліджує, чи може техніка дістатись закритих моделей від OpenAI та Anthropic через спільні аудіокомпоненти з відкритим кодом.
Університетські дослідники з Китаю знайшли спосіб змінювати поведінку голосових ШІ-моделей, вбудовуючи приховані команди в аудіозаписи, непомітні для людського слуху. За даними дослідження Університету Чжецзян, атака має до 96% успіху.
Метод атаки, представлений на 47-му Симпозіумі IEEE з безпеки та приватності в Сан-Франциско, націлений на великі аудіомовні моделі (LALM), які можуть обробляти голосові команди та взаємодіяти із зовнішніми інструментами й додатками.
“Тренування цього сигналу займає всього півгодини, а потім, оскільки цей сигнал контекстно-агностичний, ви можете використовувати його для атаки на цільову модель будь-коли, незалежно від того, що каже користувач”, — заявив провідний автор Мен Чен, докторант Університету Чжецзян.
Атака працює шляхом модифікації числових значень у цифровій аудіохвильовій формі таким чином, що це не сприймається людськими слухачами, але впливає на те, як ШІ-моделі інтерпретують сигнал. Дослідники зазначають, що маніпульоване аудіо може пересилити або перенаправити поведінку моделі, навіть якщо разом із кліпом містяться легітимні інструкції користувача.
AudioHijack відрізняється від традиційних атак через ін’єкцію промптів (prompt injection), оскільки не маніпулює тим, що користувач говорить ШІ. Натомість, він змінює сам аудіосигнал, вбудовуючи приховані інструкції всередину звуків, які люди не чують. Дослідники стверджують, що це робить атаку складнішою для захисту, оскільки вона оминає запобіжники, розроблені для виявлення підозрілих текстових запитів.
Дослідники протестували AudioHijack на 13 моделях ШІ з відкритим вихідним кодом і виявили, що він може змусити їх відмовлятися від запитів, поширювати неправдиву інформацію, вставляти шкідливі посилання, змінювати особистість або виконувати дії, які користувач ніколи не просив, включаючи пошук в Інтернеті, завантаження файлів та електронні листи, що містять особисті дані. Атаки також спрацювали на комерційних системах голосового ШІ від Microsoft та Mistral, які використовують схожі технології.
“Багато попередніх атак на генеративні моделі вимагали від зловмисника повного контролю над остаточним аудіовходом та початковими інструкціями, наданими моделі, фактично діючи як користувач”, — йдеться у дослідженні. “Тут зловмисник маніпулює лише аудіоданими, що обробляються моделлю, що дозволяє атакувати модель, поки нею користується хтось інший”.
За даними дослідження, можливі способи доставки включають онлайн-відео, музичні кліпи, голосові нотатки або аудіо з викликів Zoom, завантажені до сервісів транскрипції ШІ. Команда також повідомила, що неопубліковані подальші роботи продемонстрували подібні атаки в живих аудіочатах ШІ.
Дослідники зазначили, що моніторинг внутрішніх механізмів уваги моделі був найефективнішим захистом, який вони тестували. Однак вони також виявили, що зловмисники, обізнані про цей захист, можуть зменшити силу маніпуляції, зберігаючи значну частину ефективності атаки.
“Ці точкові захисти погано протистоять нашій атаці, тому що ми виявили, що моделям дуже важко розрізнити звичайний намір користувача та нашу ворожу атаку”, — сказав Чен.
Погляд Crypto Top: Ця технологія демонструє вразливість аудіоінтерфейсів ШІ, що може призвести до розробки нових децентралізованих систем автентифікації та захисту даних у Web3. Імплементація подібних механізмів у блокчейн-мережі може підвищити безпеку смарт-контрактів, які взаємодіють з аудіоінформацією.
