Колумбійський суд відхилив апеляцію щодо ШІ-письма, але сам потрапив під підозру власного ШІ-детектора

Колумбійський суд відхилив апеляцію, посилаючись на ШІ-детектори, але потім виявилося, що власний висновок суду також був позначений як згенерований ШІ.

Колумбійський суд відхилив апеляцію щодо ШІ-письма, але сам потрапив під підозру власного ШІ-детектора 4

Створіть обліковий запис, щоб зберігати статті.Додати в GoogleДодайте Decrypt як джерело за замовчуванням, щоб бачити більше наших історій у Google.

Коротко

  • Верховний суд Колумбії відхилив касаційну апеляцію, оскільки детектори ШІ позначили її як згенеровану машиною.
  • Адвокати перевірили рішення суду за допомогою тих самих інструментів і виявили, що воно також виглядає як написане ШІ.
  • Експерти та дослідження показали, що програмне забезпечення для виявлення ШІ дає ненадійні та суперечливі результати.

Верховний суд Колумбії відхилив касаційну апеляцію, стверджуючи, що вона була згенерована штучним інтелектом. Однак той самий інструмент, який суд використовував для визначення нібито ШІ-походження апеляції, показав, що власне рішення суду також отримало генеративну допомогу.

Чи є це подвійними стандартами з боку суду, чи невдалим використанням інструментів?

«Зіткнувшись із обґрунтованою підозрою, що клопотання, подане адвокатом, не було підготовлене самим правником, суд передав текст інструменту Winston AI», — стверджував суд. «Його аналіз показав, що документ містить лише 7% людського контенту, що свідчить про помітний вплив автоматизованого письма та призводить до висновку, що він був виготовлений за допомогою штучного інтелекту».

Після аналізу з іншими інструментами, що дали подібні результати, суд ухвалив, що «оскільки клопотання не може вважатися належним чином поданим, його слід відхилити як неприйнятне».

Але коли рішення суду пройшло подібну перевірку з боку юридичних експертів, воно показало схожі результати.

«Я подав текст постанови AP760/2026 від Верховного суду до того ж програмного забезпечення Winston AI, згаданого в рішенні», — написав у X адвокат Еммануель Алессіо Веласкес у вівторок. «Результат: документ містить 93% тексту, згенерованого ШІ».

«Якщо саме рішення, яке засуджує використання штучного інтелекту, отримує такий відсоток, то методологічна крихкість використання цих детекторів як аргументаційної підтримки стає самоочевидною», — стверджував він у подальшому твіті.

Протягом кількох годин після того, як суд опублікував у X серію твітів про рішення, юристи почали проводити власні тести. Публікація Веласкеса стала вірусною в юридичних колах, набравши десятки тисяч переглядів.

Ми також перевірили рішення суду, і спочатку результати не виглядали добре. Коли GPTZero проаналізував лише початкові слова тексту суду, він видав 100% результат ШІ.

Колумбійський суд відхилив апеляцію щодо ШІ-письма, але сам потрапив під підозру власного ШІ-детектора 5

Коли той самий інструмент обробив довшу версію, включаючи розділ із фактичним описом справи, він повністю змінив свою думку: 100% людський контент.

Інструмент просто недостатньо надійний, щоб йому можна було довіряти в суді або в ситуаціях, що вимагають високого ступеня впевненості.

Колумбійський суд відхилив апеляцію щодо ШІ-письма, але сам потрапив під підозру власного ШІ-детектора 6

Колумбійські адвокати швидко відреагували власними експериментами. Адвокат з кримінальних справ та викладач Андрес Ф. Аранго Г. подав судовий документ 2019 року, за роки до того, як великі мовні моделі, для виявлення яких призначені ці інструменти, взагалі існували, і результат показав 95% генерації ШІ.

«Ці інструменти потім пропонують вам “олюднити” статтю за допомогою своїх платних послуг», — написав він у X, відзначаючи очевидний комерційний інтерес у бізнес-моделі детекції.

Ніколас Буелвас подав свою дипломну роботу 2020 року про принцип довіри в кримінальному праві. Результат? 100% ШІ.

Даріо Кабрера Монтеалегре, ще один колумбійський адвокат, вказав на лицемірство використання технологій для боротьби з ними.

«Суд використовує ШІ, щоб визначити, чи був використаний ШІ», — сказав він. «Це суперечливо з моєї практичної точки зору».

Поза юридичними колами, інші технічно підковані особи вказали на небезпеку надмірної залежності від інструментів виявлення ШІ.

«На сьогоднішній день не існує загальнодоступного інструменту, який міг би точно визначити відсоток використання ШІ під час створення тексту», — стверджував Карлос Алехандро Торрес Пінедо. «Що ще гірше: ніхто не може публічно перевірити вихідний код цих платформ виявлення. Як їх можна використовувати для делегітимізації права людини на доступ до правосуддя?»

Технічні причини таких збоїв добре задокументовані. Детектори ШІ вимірюють статистичні закономірності: довжину речень, передбачуваність лексики та якість, яку дослідники називають «вибуховістю» (burstiness), що означає природну варіативність ритму, яку люди вносять у свій текст.

Проблема полягає в тому, що формальна юридична проза, академічні тексти та тексти, створені людьми, які пишуть другою мовою, мають багато схожих статистичних ознак.

Дослідження виявлення ШІ

Дослідження 2023 року, опубліковане в журналі Patterns, показало, що понад 61% есе Test of English as a Foreign Language (TOEFL), написаних не носіями англійської мови, були помилково позначені як згенеровані ШІ.

Систематичний огляд Вебера-Вульфа того ж року дійшов висновку, що жоден із доступних інструментів не є ані точним, ані надійним. Turnitin у червні 2023 року визнав, що його власний детектор давав вищі показники помилкових спрацьовувань, коли рівень контенту ШІ в документі був нижчим за 20%.

Навіть OpenAI довелося видалити свій власний інструмент виявлення ШІ через постійні неточності та нездатність виконувати свою роботу.

Університети вже роки стикаються з цією проблемою. У 2023 році Вандербільтський університет вимкнув детектор ШІ від Turnitin, оцінивши, що він щорічно генеруватиме близько 3000 помилкових спрацьовувань.

Університет Арізони вилучив функції виявлення ШІ зі свого програмного забезпечення для виявлення плагіату після того, як студент втратив 20% оцінки через помилкове спрацьовування. У справі 2024 року в Каліфорнійському університеті Девіса було позначено 17 студентів-лінгвістів, 15 з яких були не носіями англійської мови.

Схема послідовна. Інструменти карають тих, хто пише найбільш формально, найбільш повторювано або найбільш ретельно — саме той профіль, до якого належать юристи, науковці та носії другої мови.

Культурні наслідки межують з абсурдом. У колах письменників та журналістів люди почали уникати тире (em dashes) у своїх роботах не через стилістичні посібники, а тому, що великі мовні моделі часто їх використовують, і детектори (та люди) це помітили.

Письменники саморедагують природну пунктуацію, боячись алгоритмічної підозри. Окрім світу текстів, художники зазнали гніву модераторів та колег за створення мистецьких творів, які виглядають як згенеровані ШІ.

Два рішення Колумбії — AC739-2026, за яким Цивільна палата у лютому оштрафувала адвоката за цитування 10 неіснуючих прецедентів, згенерованих ШІ, та AP760-2026 — стають одними з перших судових рішень у регіоні, які безпосередньо стикаються з неправомірним використанням генеративного ШІ у юридичних документах.

Судова гілка влади Колумбії прийняла формальні рекомендації в грудні 2024 року, які регулюють, як судді та співробітники суду можуть використовувати штучний інтелект.

Правила дозволяють вільно використовувати ШІ для адміністративних та допоміжних завдань, таких як складання електронних листів, організація розкладу, переклад документів або узагальнення текстів, тоді як більш чутливі завдання, як-от юридичні дослідження або підготовка процесуальних документів, дозволені лише під ретельним людським контролем.

Рекомендації прямо забороняють покладатися на ШІ для оцінки доказів, тлумачення закону або прийняття судових рішень, підкреслюючи, що людські судді несуть повну відповідальність за всі рішення та повинні розкривати інформацію про використання інструментів ШІ під час підготовки судових матеріалів.

Ці рекомендації, зібрані в угоді «PCSJA24-12243», можуть бути використані для оскарження подібних рішень.

Верховний суд ще не випустив жодних додаткових заяв у відповідь на негативну реакцію щодо вибору ним інструментів виявлення. Рішення також не містило тире.

Погляд Crypto Top: Цей інцидент підкреслює незрілість поточних інструментів виявлення ШІ та їхню потенційну невідповідність для критично важливих юридичних застосувань. В контексті Web3, це може спонукати до розробки більш надійних, децентралізованих систем перевірки автентичності контенту, що потенційно створить нові утилітарні токени для їхньої підтримки.

Джерело: decrypt.co

No votes yet.
Please wait...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *