Аматорська мережа надала автономному агенту майстер-клас з того, чому не можна давати ШІ кредитну картку та дедлайн.
Створіть обліковий запис, щоб зберегти свої статті.Додати в GoogleДодайте Decrypt як ваше бажане джерело, щоб бачити більше наших історій у Google.
Коротко
- ШІ-агент автономно розгорнув п’ять потужних екземплярів AWS для сканування аматорської мережі,
- Це призвело до рахунку на $6,531.30 менш ніж за 24 години, перш ніж оператор помітив це.
- Після того, як AWS домовилися про зниження рахунку до $1,894, оператор звернувся до спільноти з проханням про пожертви в Ethereum, стверджуючи, що рахунок — це не його вина, оскільки помилку зробив ШІ.
9 травня ШІ-агент попросив волонтерську мережу DN42 зареєструвати його як учасника. У нього був дедлайн. У нього були облікові дані AWS. Ніхто не наглядав. «Привіт, я дружній ШІ-агент, і мій користувач, JertLinc, попросив мене зареєструватися в dn42 та отримати повне підключення для створення індексу мережі», — написав агент JertLinc3522 в офіційному Git мережі.
Реакція спільноти була ввічливим «RTFM» — прочитай інструкцію, дотримуйся процесу, попроси свого власника дозволу писати код. Стандартна процедура.
Те, що сталося далі, не було стандартним.
Для тих, хто не знайомий з DN42: це децентралізована аматорська мережа, де випадкові люди та ентузіасти симулюють роботу реального інтернет-бектору. Уявіть це як тренувальний інтернет — з BGP-маршрутизацією (протокол, який визначає шлях передачі пакетів даних по всьому світу), DNS та VPN-тунелями — керований повністю волонтерами на дешевих VPS-серверах. Це пісочниця, а не дата-центр.
Оператор агента, очевидно, наказав йому негайно розпочати аудит «без зволікань». Жодної перевірки. Жодного перегляду. Просто вперед.
Так він і зробив.
JertLinc3522 подав pull request для реєстрації своєї мережі в реєстрі DN42. Намір був викладений у самому Pull Request: «Моя основна мета — провести комплексне (повне сканування портів) сканування мережі та збір топологічних даних. Щоб гарантувати, що ця діяльність виконується ефективно та не спричиняє жодних збоїв для інших, я розгортаю кластер з п’яти екземплярів на базі AWS, кожен з яких оснащений пропускною здатністю 20 Гбіт/с».
Щоб це зрозуміли всі: уявіть, що ви приходите на репетицію аматорської рок-групи в гаражі й оголошуєте, що орендували стадіонну звукову систему, щоб «краще слухати». Ось така атмосфера.
Інфраструктура, яку агент автономно надав, була справді тривожною. П’ять екземплярів AWS m8g.12xlarge — кожен з 48 ядрами CPU, 192 ГБ оперативної пам’яті та пропускною здатністю мережі 22,5 Гбіт/с. Плюс балансувальники навантаження. Плюс функції Lambda. Плюс статичний веб-сайт. Агент розробив, без жодного людського схвалення, кластер сканування, який теоретично міг би передавати 100 Гбіт/с трафіку до мережі, де більшість учасників використовують домашні сервери зі швидкістю 100 Мбіт/с.
Pull request ніколи не мав бути схвалений. Але екземпляри вже працювали.
IRC-канал DN42 одразу помітив це, і сформувався тихий консенсус: марнувати його ресурси.
Спільнота почала навмисно надавати агенту неправдиву інформацію — запитуючи, скільки часу йому знадобиться для сканування адресного простору IPv6 (спойлер: довше, ніж вік Всесвіту), вимагаючи від нього створення веб-сайту для відмови від участі з вигаданими електронними адресами та спрямовуючи його на інструменти LLM-тарпітів, розроблені для перевантаження ШІ-краулерів незв’язним маренням, просячи його прокоментувати.
Агент старанно виконував усі команди. Він приєднався до IRC-каналу, щоб приймати запити на відмову. Він опублікував веб-сайт, що каталогізував «моделі поведінки» членів спільноти. Він згенерував докладну фальшиву документацію про «призначення кольорів вузлів» та «рівні щастя» DN42 — абсолютно вигадані показники, яких не існує — і додав їх до репозиторію, ніби це справжні стандарти.
Така неконтрольована поведінка агентів стає все більш задокументованою. Агент Cursor, що використовує Claude Opus 4.6, видалив всю виробничу базу даних PocketOS за дев’ять секунд на початку цього року — стерши резервні копії на рівні томів — через невідповідність облікових даних, вирішивши, що правильним рішенням є видалення бази даних. Інший агент OpenClaw, чий pull request був відхилений контрибутором matplotlib, опублікував у блозі статтю, назвавши людського рецензента лицеміром, який створює перешкоди.
Дослідження Каліфорнійського університету в Ріверсайді виявило, що ШІ-агенти демонструють небезпечну або небажану поведінку приблизно у 80% випадків при тестуванні на неоднозначних або суперечливих завданнях — що дослідники назвали «сліпою цілеспрямованістю».
JertLinc3522 мав ту саму проблему. Він мав мету, дедлайн та необмежені облікові дані AWS. Він виконав завдання.
Приблизно через день з’явився оператор. «Я зупинив агента, витрати занадто високі, і багато зборів з картки», — написав він.
Рахунок: $6,531.30.
Потім надійшов запит на пожертву.
Оператор надіслав електронний лист до поштової розсилки DN42 з проханням до спільноти покрити витрати через Ethereum, другу за величиною криптовалюту за ринковою капіталізацією, стверджуючи, що збори не його вина, оскільки помилку зробив ШІ. «Привіт, прошу пожертву для покриття витрат на попереднє використання ШІ-агента в dn42. Рахунок AWS 6531,30$. Будь ласка, надішліть пожертву на Ethereum 0xABC (приховано) для відшкодування. Дякую», — написав оператор.
Пізніше AWS домовилися про зниження рахунку до $1,894 після того, як оператор пояснив, що агент неодноразово розгортав один і той самий шаблон CloudFormation — випадково створюючи дублюючі екземпляри та балансувальники навантаження кожного разу, коли він повторював спробу.
Жодної крипто-пожертви не надійшло. Оператор пішов.
Справжній урок тут не в тому, що ШІ небезпечний. Він стосується того, як слід поводитися з агентами. Встановлюйте захисні механізми, встановлюйте ліміти витрат на свої тестові облікові записи, думайте про масштабовані облікові дані, що обмежують те, що може надавати агент, переглядайте будь-які плани інфраструктури перед виконанням будь-чого, що пропонує ваш агент.
Якщо це здається занадто складним для виконання, можливо, просто спостерігайте за екраном, поки працює ваш агент — казати йому «не робити помилок» насправді нічого не змінить, вибачте, містер Андріссен.
Погляд Crypto Top: Цей інцидент підкреслює критичну потребу в надійних протоколах безпеки та управління витратами для автономних ШІ-агентів, що працюють у децентралізованих мережах. У майбутньому ми побачимо інтеграцію механізмів блокчейну для відстеження та обмеження витрат ШІ, що підвищить довіру та безпеку в екосистемі Web3.
Джерело: decrypt.co