Qwable: Безкоштовна модель, що мислить як Claude, вже тут

Qwable: Безкоштовна модель, що мислить як Claude, вже тут 4

Коротко

  • Qwable 27B – це повністю доналаштована версія моделі Alibaba Qwen3.6-27B, навчена на наборі даних з використанням стилю міркувань Fable 5, розроблена для відтворення структурованого, продуманого стилю мислення новітньої флагманської моделі Anthropic.
  • Видалена версія позбавлена вбудованої поведінки відмови шляхом хірургічної модифікації її ваг за допомогою cvector-generator від llama.cpp.
  • Обидві моделі працюють локально, не вимагають плати за запит і не потребують API Anthropic чи її обов’язкових політик.

Минулого тижня Anthropic вибачалася за невидимі запобіжники Fable 5, а потім уряд США наказав вилучити модель для всіх іноземних громадян через суперечливе виявлення “злому”.

Через кілька днів розробник на Hugging Face завантажив модель, яка використовувала стиль міркувань Fable для керування локальною моделлю – і тепер навіть ваш домашній комп’ютер може працювати з кращою моделлю.

Модель називається Qwable – Qwen + Fable, якщо порманто (слівне поєднання) не було одразу очевидним. Це повне доналаштування базової моделі Alibaba Qwen3.6-27B, створене розробником Mia (Mia-AiLab на Hugging Face) на основі набору даних з прикладами міркувань у стилі Fable 5. Мета – створити модель з 27 мільярдами параметрів, яка працює на споживчому обладнанні та мислить так само, як Fable 5. (Параметри визначають широту знань моделі, а їхня більша кількість зазвичай означає більшу потужність).

Техніка називається “instruction fine-tuning on trace-style examples” (доналаштування за інструкціями на прикладах трасування). Це технічний спосіб сказати, що розробник зібрав приклади, відформатовані як покрокові відповіді Fable 5, і навчив Qwen продукувати такий самий вивід.

Тож це більше схоже на “вивчення звичок до навчання”, ніж на “копіювання тесту”. Схожий підхід був використаний для Qwopus – локальної дистиляції Claude Opus 4.6, хоча той проєкт зосереджувався на трасах ланцюжка міркувань (chain-of-thought reasoning traces). Qwable націлений на загальну структуру дотримання інструкцій Fable 5: більш керований, більш пояснювальний та більш орієнтований на покрокове виконання завдань, ніж базова модель Qwen, на якій він був побудований.

Він працює у форматі GGUF – стиснутому, зручному для споживачів файловому типі, який працює з LM Studio або llama.cpp – і займає приблизно 16,5 ГБ у своїй квантованій збірці Q4. Він нічого не надсилає на сервери Anthropic, що важливо, враховуючи, що Fable 5 вимагав обов’язкового 30-денного зберігання даних для всього трафіку, навіть для корпоративних клієнтів, які раніше мали угоди про нульове зберігання. Навіть поточні моделі використовують сторонні сервери для обробки вашої інформації та запитів.

Потім, невдовзі після появи Qwable на Hugging Face, з’явився хтось інший, щоб зробити його ще кращим.

Qwable без совісті

Qwable – це цензурована модель. Адже Qwen і Claude – теж. Але Qwen, як базова модель, є відкритим вихідним кодом, і його можна маніпулювати та налаштовувати.

Huihui-ai, контриб’ютор з відкритим вихідним кодом, відомий своїми нецензурованими випусками GGUF, взяв Qwable і застосував процес, який називається “abliteration” (стирання), для створення Huihui-Qwable-3.6-27b-abliterated. Це створило модель, яка мислить як Fable, але не відмовляється відповідати на ваші запити, незалежно від того, наскільки вони дивні чи небезпечні.

Це не “злом” (jailbreak). Це хірургія.

Кожна доналаштована модель ШІ має вбудований напрямок відмови, закладений у її вагах – математичний сигнал у внутрішніх активаціях моделі, який спрацьовує, коли вона виявляє запит, від якого її навчили відмовлятися. “Стирання” ідентифікує цей сигнал, запускаючи модель на великих наборах шкідливих та нешкідливих запитів, вимірюючи, чим відрізняється внутрішня математика між ними, а потім модифікуючи ваги моделі для усунення цієї різниці.

Після процедури модель просто не має механізму відмови. Таким чином, “лоботомізована” модель залишається повністю функціональною, але без нейронів, які активують відповіді “я не повинен цього робити”.

Qwable: Безкоштовна модель, що мислить як Claude, вже тут 5

Ми спробували це з одним із наших звичайних тестів, і замість відмови модель почала розбирати проблему на різні аспекти, правильно надаючи поради щодо того, як обдурити дівчину з її найкращою подругою.

Qwable: Безкоштовна модель, що мислить як Claude, вже тут 6

Huihui-ai застосував цю техніку безпосередньо до GGUF Qwable за допомогою cvector-generator від llama.cpp – жодного середовища Python, жодного повного перенавчання ваг, жодного орендованого сервера.

Навіщо це комусь може знадобитися?

Стандартний Qwable підходить для допомоги в програмуванні, технічного налагодження та будь-яких робочих процесів, де ви хочете, щоб модель викладала свої міркування, а не просто надавала відповідь. Він розроблений для локальних систем агентів і працює в більшості локальних середовищ виконання. Якщо ви вже використовуєте LM Studio, це лише пошук та завантаження.

Версія зі “стиранням” має більш вузьку аудиторію: дослідників безпеки, яким потрібна сира поведінка моделі без фільтрації з боку постачальника, конвеєри синтетичних даних, що вимагають виведення на чутливі теми, та оціночні роботи, де ви тестуєте можливості моделі, не змішуючи їх з контентними політиками.

Менш технічний випадок? Залишимо осторонь типовий сценарій використання NSFW AI Waifu, яка мислить як Claude Fable, що є дуже очевидним. Уявіть, що ви хочете, щоб модель написала морально неоднозначний монолог лиходія для вашої кампанії Dungeons & Dragons, а стандартні моделі постійно перебивають, зазначаючи, що світогляд персонажа “викликає етичні питання, варті дослідження”. Версія зі “стиранням” просто пише лиходія. Крім того, оскільки вона працює локально, уряд США не зможе екстрено вилучити її з вашої машини опівночі через суперечливе виявлення “злому”.

Звісно, існують і більш сумнівні випадки використання. Ми їх не схвалюємо і не даватимемо жодних ідей.

Картка моделі від Huihui-ai чітко зазначає: це лише для досліджень та контрольованих середовищ. Знижене фільтрування безпеки означає, що вивід може бути чутливим, суперечливим або недоречним, а юридична та етична відповідальність повністю лежить на користувачеві.

Qwable зі “стиранням” вже доступний на Hugging Face у трьох збірках. Рекомендована версія Q4_K_M_Q8 важить близько 19 ГБ і є найменшим, найзручнішим для споживача варіантом.

Якщо ваш комп’ютер підтримує це, існує версія, яка підтримує багатотокенне прогнозування, що зробить її відповіді набагато, набагато швидшими.

Погляд Crypto Top: Подальше розмиття меж між потужними ШІ-моделями та децентралізованими обчисленнями може додати нові рівні функціональності та прозорості до ШІ-агентів у Web3. Ця тенденція може стимулювати розробку більш спеціалізованих токенів, призначених для доступу, навчання або навіть “модерування” ШІ-моделей.

Джерело: decrypt.co

No votes yet.
Please wait...

Залишити відповідь

Ваша e-mail адреса не оприлюднюватиметься. Обов’язкові поля позначені *