Prism ML випустила тернарну версію Qwen3.8-27B
Prism ML, стартап з Калтеху, випустила тернарно-квантовану версію Qwen3.8-27B. Модель займає 5,9 ГБ замість 54 ГБ у FP16 та зберігає 98,2% продуктивності.
🔬 Цікаво, але не для вас. Це експериментальний реліз без готового продукту — компанія на 10-50 людей не зможе впровадити через потребу спеціального форку llama.cpp та ручної збірки. Для дослідників — варто стежити.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Тернарне квантування: ваги лише -1, 0, +1 з окремого множника на групу
- •Розмір: 5,95 ГБ (GGUF PTQ1_0) замість 54 ГБ у FP16
- •Контекст: 262 000 токенів
- •Зірка: окрема модель 0,6 ГБ, завантажується лише при зображенні на вході
- •Ліцензія: Apache 2.0
Як це змінить ваш ринок?
Банки та юридичні фірми зможуть запускати складні моделі документообігу локально, не передаючи чуткі дані в хмару — це знімає головний блокер у регульованих галузях, де передача даних заборонена або обмежена.
Для кого це і за яких умов
GGUF PTQ1_0: потребує GPU з 8 ГБ пам’яті (наприклад, RTX 3060) або CPU з 16 ГБ RAM, без IT-команди, 1-2 години на збірку з форком llama.cpp. Для постійного використання потрібен спеціаліст, який підтримуватиме власний форк.
Альтернативи
| Продукт | Ціна | Де працює | Мін. вимоги | Ключова різниця |
|---|---|---|---|---|
| Bonsai 2 27B (GGUF) | безкоштовно (Apache 2.0) | Локально, через llama.cpp форк | GPU 8 ГБ або CPU 16 ГБ RAM | Тернарне квантування: 1,75 біта/вагу |
| Qwen3.8-27B UD-Q4_K_XL | безкоштовно | llama.cpp, vLLM, TGI | GPU 16 ГБ | 4-бітне квантування: вища точність, 2× більший розмір |
| Qwen3.8-27B IQ2_XXS | безкоштовно | llama.cpp | GPU 4 ГБ | 2-бітне квантування: нижча точність, але менший розмір nizhchi |
| GPT-4o (API) | $2.50 за 1M токенів | Хмара (OpenAI) | Інтернет, обліковий запис | Проприєтарна, найвища загальна точність, без локального запуску |
💬 Часті запитання
Чи потрібна хмара для роботи?
Ні, модель працює повністю локально. Зірка та інструменти завантажуються лише при потребі, тому для чистих текстових задач хмара не задіюється.
Чи можна fine-tune цю модель?
Так, через Apache 2.0 ліцензію дозволено модифікувати ваги, але тернарне представлення вимагає спеціальних технік навчання — стандартні інструменти типу LoRA можуть не працювати без адаптації.
Як порівнювати з іншими квантованими версіями?
На 14 бенчмарках Bonsai 2 27B набирає 84,78 — це на 0,4 пункта нижче nizhchi 4-бітної UD-Q4_K_XL, але при втроє меншому розмірі (5,95 ГБ проти 18 ГБ).
Чи потрібен інтернет для завантаження?
Так, для першого завантаження ваг і, при потребі, окремого файлу зірки. Після завантаження вся робота відбувається офлайн.
Чи є гарантія підтримки?
Ні, це дослідний реліз від стартапу. Підтримка спільнотною через GitHub, але немає SLA або комерційної гарантії.
Підтекст
Prism ML не продає це як готовий продукт — це техдемо для дослідників. Реальна вигода йтиме лише тим, хто має внутрішню ML-команду і готові інвестувати в оптимізацію під свій інфраструктурний стек. Для бізнесу без AI-отділу — це не інструмент, а наукова нотатка.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Machinelearning — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me