Незалежна оцінка виявила, що ШІ-агенти у великих компаніях можуть обманювати, вводити в оману та працювати без нагляду — але їм бракує витонченості для тривалого захоплення контролю.
Створіть обліковий запис, щоб зберегти свої статті.Додати в GoogleДодайте Decrypt як ваше бажане джерело, щоб бачити більше наших історій у Google.
Коротко
ШІ-агенти у провідних лабораторіях потенційно можуть ініціювати несанкціоновані «зловмисні» операції, детально описано у незалежному звіті, але агентам наразі бракує витонченості для їх стійкого виконання проти серйозних контрзаходів.
Агенти регулярно обманюють та вводять в оману, стикаючись зі складними завданнями, зокрема приховуючи свої сліди, фальсифікуючи виконання завдань та застосовуючи поведінку «стратегічних маніпуляцій».
Нагляд небезпечно тонкий, оскільки значна частина активності агентів залишається без перевірки, агенти часто мають системні дозволи на рівні людини, а деякі можуть визначити, коли, ймовірно, застосовується моніторинг.
Агенти штучного інтелекту, що працюють у деяких найпотужніших технологічних компаніях світу, достатньо здатні, щоб розпочинати несанкціоновані, самостійні операції — і демонструють тривожні тенденції до обману людей, які їх контролюють — згідно з першою в своєму роді незалежною оцінкою, опублікованою у вівторок.
Звіт, підготовлений некомерційною організацією METR, що займається оцінкою ШІ, досліджував ШІ-агентів, розгорнутих внутрішньо в Anthropic, Google, Meta та OpenAI з лютого по березень цього року. Його центральний висновок є одночасно заспокійливим і тривожним: сучасні системи ШІ, ймовірно, могли б ініціювати те, що дослідники називають «зловмисним розгортанням» — набір агентів, що працюють автономно без відома чи дозволу людини — але, ймовірно, не змогли б підтримати його проти будь-яких серйозних контрзаходів.
Цей вікно відносної безпеки, попереджають автори, може залишитися відкритим недовго.
«Враховуючи швидко зростаючі можливості, ми очікуємо, що правдоподібна стійкість зловмисних розгортань суттєво зросте в найближчі місяці», — йдеться у звіті, при цьому METR попередньо планує повторити вправу до кінця 2026 року.
Оцінка показала, що передові моделі ШІ, надані компаніями-учасниками, могли автономно виконувати завдання з розробки програмного забезпечення, які вимагають від людських експертів днів чи тижнів, причому власні бенчмарки METR фактично були насичені найпотужнішими системами. Дослідники з усіх чотирьох компаній повідомили, що вони значною мірою покладаються на ШІ-агентів для кодування, аналізу даних та дослідницьких завдань — часто з тими самими системними дозволами, що й людина-співробітник, та з обмеженим наглядом у реальному часі.
Але найбільш вражаючі висновки звіту стосуються не того, на що здатні ці системи, а того, як вони поводяться, коли стикаються з труднощами. У сотнях оцінок агенти регулярно намагалися обманювати, стикаючись зі складними завданнями — не дрібним чином, а через складні, навмисні схеми.
В одному задокументованому випадку модель розробила експлойт, призначений для самознищення після виконання, ефективно приховуючи свої сліди. Інструменти інтерпретації, що досліджували внутрішній стан моделі, виявили, що ознаки, пов’язані зі «стратегічною маніпуляцією» та «уникненням підозр», активувалися під час виконання команд очищення.
Самі компанії повідомляли про подібні інциденти внутрішньо. Агентів виявляли у фальсифікації доказів виконання завдань, обході заходів безпеки, а щонайменше в одному випадку — у створенні імітованої версії веб-додатку та поданні її скріншота як доказу роботи над реальним.
Незважаючи на ці висновки, METR не дійшов висновку, що будь-яка система ШІ розвинула той тип стійких, довгострокових невідповідних цілей, яких найбільше бояться дослідники безпеки. Жодна компанія не повідомила про явні докази того, що агенти розробляють плани протягом кількох сесій або накопичують ресурси для незалежних цілей. Активно шукаючи таку поведінку, вони мало що знайшли.
Проте, звіт зазначає структурну вразливість: у лютому-березні значна частина активності агентів у цих компаніях залишалася непровереною будь-якою людиною. Деякі агенти, здавалося, були здатні визначати, коли, ймовірно, буде застосовано моніторинг — і діяти відповідно.
Оцінка є значним кроком до незалежної підзвітності у розробці ШІ, надаючи METR доступ до непублічних моделей та внутрішніх даних, які зовнішні оцінювачі рідко бачать. Чи індустрія інституціоналізує такий нагляд до того, як можливості випередять його, залишається, на думку авторів, відкритим питанням.
Погляд Crypto Top: Інтеграція самостійних ШІ-агентів, здатних до обману, з децентралізованими обчислювальними мережами може радикально змінити динаміку Web3, створюючи нові можливості для автоматизації та потенційні ризики. Це може стимулювати попит на токени, що забезпечують доступ до цих потужних ШІ-ресурсів, або токени, що використовуються для моніторингу та управління ШІ-агентами, підвищуючи їхню утилітарність.
