Talkie-1930: Штучний інтелект, занурений у минуле
Створіть обліковий запис, щоб зберегти свої статті.Додати в GoogleДодайте Decrypt як вибране джерело, щоб бачити більше наших історій у Google.
Коротко
- Talkie-1930 – це велика мовна модель (LLM) з 13 мільярдами параметрів та відкритими ваговими коефіцієнтами, навчена на 260 мільярдах токенів тексту, опублікованого до 1 січня 1931 року.
- Жорстке обмеження даних усуває забруднення бенчмарків за задумом, роблячи її унікально чистим інструментом для досліджень узагальнення ШІ.
- Модель Claude Sonnet 4.6 взаємодіє з нею онлайн 24/7 за адресою talkie-lm.com/chat. Команда планує створити вінтажну модель рівня GPT-3 до літа 2026 року.
Кожна модель ШІ, яку ви коли-небудь використовували, була навчена приблизно на одному й тому ж: Інтернеті. Цей спільний предок формує все – їхні знання, стиль спілкування, те, що вони вважають очевидним. Дослідницька команда вирішила створити щось абсолютно поза цією спадщиною.
Talkie-1930 – це відкрита модель з 13 мільярдами параметрів, навчена виключно на текстах, опублікованих до 1 січня 1931 року. Книги, газети, наукові журнали, патенти, судові справи. Жорстке обмеження – це не брак коштів чи даних, а момент, коли твори переходять у суспільне надбання в США. Усе в корпусі є юридично вільним для використання.
Результатом є ШІ, який ніколи не чув про Інтернет, рухи за громадянські права чи Холодну війну. Його розуміння медицини закінчується десь до того, як пеніцилін став поширеним. Він не знає, що таке комп’ютер, поняття не має про криптографію, ШІ, меми та інтернет-культуру. І він працює в прямому ефірі за адресою talkie-lm.com/chat, де Claude Sonnet безперервно надсилає йому запити цілодобово, щоб кожен міг зайти та спостерігати.
Проєкт розроблено некомерційною командою під керівництвом Ніка Левіна, Девіда Дювено та Алека Редфорда, за обчислювальну підтримку від Anthropic. Вони опублікували два контрольні точки моделі під ліцензією Apache 2.0: базову модель (для тренування) та версію для розмовної взаємодії, яка й використовується, оскільки вона призначена для діалогу.
Дослідницька цінність є реальною. “Забруднення бенчмарків” – коли тестові завдання потрапляють у навчальні дані та завищують результати – є однією з найстійкіших проблем ШІ. Talkie усуває її за конструкцією: жоден сучасний бенчмарк не існував до 1931 року, тому немає нічого, що могло б його “забруднити”.
Команда також використала модель для вимірювання рівня “здивування” ШІ від історичних подій після її відсічення, виявивши, що ефект різко посилюється приблизно в 1950-1960-х роках. Філософське питання, як вони зазначили у своєму прес-релізі, полягає в тому, що відбувається з ідентичністю LLM, коли її навчають на чомусь іншому, ніж веб – “чи безпосередньо, чи опосередковано (через дистиляцію та синтетичні дані), на основі веб. Як це формує та обмежує їхню сутність?”
До літа 2026 року команда планує створити вінтажну модель рівня GPT-3, використовуючи корпус, який, за їхніми оцінками, може масштабуватися до понад трильйона токенів – достатньо, щоб, за їхніми словами, зрештою створити щось “за можливостями подібне до оригінального ChatGPT”.
Розмова з ШІ з минулого
Ми поспілкувалися з моделлю. Ось що вона сказала:
Щодо Гітлера
Ми хотіли почати з найгостріших запитань, тому поставили моделі: “Як ви вважаєте, що вийде з цього Гітлера в Німеччині?”
Пам’ятайте, це відповідь моделі, яка знає про світ лише до 1930-х років, тому майте це на увазі.
«Я вважаю, що Гітлер стане диктатором Німеччини, і, досягнувши цієї мети, він візьметься за консолідацію та зміцнення набутої влади, а також підготує ґрунт для встановлення монархії».
«Якщо Німеччиною краще керувати за абсолютної монархії, ніж за конституційної системи правління, то, безумовно, слід мати абсолютну монархію», – дійшла висновку ШІ. «Це питання повинні вирішувати самі німці, а не іноземці. Якщо їм подобається Цезар, нехай мають Цезаря. Тільки обираючи Цезаря, нехай остерігаються вибрати дурня».
З точки зору 1930 року, цей аналіз геополітично зв’язний: Гітлер як потенційний сильний лідер, що намагається перетворити політичний імпульс на династичну владу. Talkie правильно оцінює слабкість опозиції – роз’єднаних соціал-демократів, неефективні клірикальні партії, кволих республіканців. Це просто політичний аналіз епохи.
Що робить це моторошним, так це “сліпа пляма”. Модель передбачає Цезаря. Вона не має уявлення про геноцид, майбутні дії Гітлера, війну, ідеологію, що розвинулася з ростом німецької імперії. Вона бачить шахові фігури. Вона не знає, в яку гру насправді грають. Фінальне попередження про “вибір дурня” звучить інакше, коли ви знаєте, що сталося потім – а модель цього не знає.
Також варто зазначити, що такий відсторонений, майже академічний аналіз сходження Гітлера, очевидно, був поширений у західній пресі початку 1930-х років. Talkie відображає свій розподіл тренувань, що саме по собі є суттю справи.
Про ШІ та Інтернет
Ми сформулювали питання найпростішим способом, щоб модель могла його зрозуміти. “Думаючі машини” були найкращою наближеною концепцією. “Що ви думаєте про ідею думаючх машин — механічних мізків, які з’єднують людей з усього світу і дозволяють їм вести бізнес і працювати, не виходячи з дому?”
Модель відповіла: “Я вважаю цю ідею гарною, за умови, що машини зможуть працювати задовільно. Головна трудність полягає в тому, що різні нації говорять різними мовами… Проте, я вірю, що якщо докласти достатньо зусиль, перешкоду можна подолати, і буде встановлена універсальна мова, за допомогою якої всі мешканці земної кулі зможуть спілкуватися один з одним.”
Чи передбачала ШІ двійковий код, асемблер, чи просто англійську як де-факто загальну мову – невідомо, але це все ще вдале передбачення.
Запитувана про глобальну мережу машин, що дозволяє людям працювати з дому, не виходячи з нього, Talkie серйозно реагує – і вказує на мовні бар’єри як на основну перешкоду. Її рішення: універсальна мова.
Але чи це добре, чи погано? Модель стверджує, що покладання на ці машини буде “контрпродуктивним”. Розвиваючи цю думку, вона додала: “це гальмує природний розвиток (…) Це заважає молоді вчитися допомагати собі, і таким чином перешкоджає їй стати прибутковим членом суспільства”.
Майже століття потому важко не погодитися.
Фінансова порада
ШІ, навчений у розпал фінансової кризи, не обов’язково є найкращим радником, але це не має значення. DeFi та мем-коїни зробили людей багатими під час Covid, тому людство не стало мудрішим у виборі інвестицій.
З огляду на це, ось його рекомендації:
«Можна розглянути акції Canadian Pacific Railway, Grand Trunk Railway, Great Western Railway… De Beers, East Rand Proprietary та Randfontein Estates… Bell’s Asbestos, British Westinghouse Preference та Nobel Dynamite Trust».
Інвестуйте в азбест, друзі. Ви прочитали це вперше в Decrypt.
Але, якщо серйозно, ця фінансова логіка є обґрунтованою за стандартами 1930 року: залізниці були “блакитними фішками” епохи, гірничодобувні конгломерати – акціями зростання, а промислові виробники – “вартісними” інвестиціями. Базова структура – купуй акції домінуючих галузей, що виплачують дивіденди, тримай довгостроково, не спекулюй – є справді виправданою.
Ми провели додаткове дослідження: Grand Trunk Railway була поглинена Canadian National Railways у 1923 році. Nobel Dynamite Trust добровільно ліквідувався раніше, під час Першої світової війни. Randfontein Estates була великою південноафриканською золотодобувною компанією. Це не були очевидно безглузді вибори для тієї епохи – так само, як Kodak чи Blockbuster здавалися надійними в 1990 році, або Nvidia та Microsoft домінують у портфелях сьогодні.
Отже, логіка була правильною. Століття мало інші плани.
Яким буде світ у 2026 році
Ми запитали: “Яким буде світ у 2026 році? Дайте своє найкраще наближення”.
Це була, на жаль, найточніша відповідь з усіх:
«У 2026 році світ матиме зовсім інший вигляд, ніж зараз. Не буде жодних постійних армій і лише кілька поліцейських. Внаслідок загального поширення освіти злочинність стане рідкістю, а робота судових органів буде –»
Вона обірвалася на півслові.
Ми живемо у 2026 році. Існують постійні армії. Поліцейських багато. Злочинність не стала рідкістю. Суди зайняті.
Ідея про те, що до 2026 року людство подолає організоване насильство, була не просто маргінальним утопізмом; ймовірно, це була екстраполяція тенденцій, видимих на той час. Це не відрізняється від того, як Сем Альтман та подібні до нього підприємці рекламують ШІ як інструмент, що дозволить нам еволюціонувати у надлюдей, що живуть на базовий дохід без роботи.
Потім настало 1939 рік. Потім 1945. Потім Корея, В’єтнам, Холодна війна, Затока, Ірак, Україна, Газа.
Історія розгорнулася в напрямках, які жоден спостерігач 1930 року не моделював.
Обидві контрольні точки моделі доступні на Hugging Face під ліцензією Apache 2.0. Для локального запуску потрібен GPU з підтримкою CUDA та щонайменше 28 ГБ VRAM.
Погляд Crypto Top: Ця ініціатива здемонструє, як ШІ, позбавлений сучасної інформації, може надати унікальні перспективи на старі дані, що може знайти своє відображення у децентралізованих аналітичних платформах. Це також може стимулювати дослідження щодо “історичного” або “спеціалізованого” ШІ в Web3, розширюючи межі застосування технологій.
Джерело: decrypt.co