Релиз квантованої моделі Qwen3.6-27B-Architect-Polaris2-Fable-B-F451-NVFP4
Автор PassingByPixels виклав на Hugging Face NVFP4-квантовану версію злиття Qwen3.6-27B. Для роботи спекулятивного декодування потрібен тензор mtp.fc.weight, якого немає в основному репозиторії.
🔬 Нічний експериментальний реліз для ML-інженерів. Без офіційної підтримки, документації та гарантій якості — компаніям до 200 людей тут нічого не змінює, крім як переслати посилання власному AI-розробнику.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Автор: PassingByPixels (анонімний ком'юніті-розробник)
- •Базова модель: Qwen3.6-27B merge (Architect-Polaris2-Fable-B-F451)
- •Квантування: NVFP4 (4-бітне з векторною нормалізацією)
- •Проблема: відсутній mtp.fc.weight для MTP спекулятивного декодування
- •Ліцензія: не вказана (типово Apache 2.0 як у Qwen, але перевірте репо)
Як це змінить ваш ринок?
Для українського IT-ринку — зовсім не змінить. Це нічний експериментальний форк, який цікавий лише ML-інженерам, що тестують NVFP4 на власному залізі. Бізнес-застосування нульове: немає бенчмарків, немає гарантій, немає підтримки.
Визначення: NVFP4 — 4-бітне квантування з Normalized Vector Float Point, яке краще зберігає точність за GPTQ/AWQ, але вимагає підтримки на GPU (H100/Blackwell для повної швидкості).
Для кого це і за яких умов
- •Мінімум заліза: GPU 24 GB VRAM (RTX 3090/4090, A6000) для 27B @ 4 біт + контекст
- •Команда: потрібен ML-інженер, що вміє дебажити відсутні тензори та збирати llama.cpp/vLLM з кастомними ядрами
- •Час на впровадження: 1-3 дні на налаштування інференсу, тестування якості, пошук форків з виправленим MTP
- •Масштаб: лише для компаній з власною ML-командою (50+ людей, окремний AI-бюджет)
- •Без команди ML: не витрачайте час — це не продукт, а сирий чекпоінт
Альтернативи
| Qwen2.5-32B-Instruct (офіційний) | Llama-3.1-70B-Instruct (офіційний) | Qwen2.5-14B-Instruct (офіційний) | |
|---|---|---|---|
| Ціна | Безкоштовно (Apache 2.0) | Безкоштовно (Llama 3.1 Community) | Безкоштовно (Apache 2.0) |
| Де працює | 24 GB VRAM (4-біт), хмара | 48 GB VRAM (4-біт), хмара | 16 GB VRAM (4-біт), MacBook M-series |
| Мін. вимоги | llama.cpp / vLLM / Ollama | llama.cpp / vLLM / Ollama | llama.cpp / vLLM / Ollama |
| Ключова різниця | Стабільні ваги, офіційні бенчмарки, довга підтримка | Найкраща відкрита модель для reasoning, великий контекст | Баланс якості/розміру, працює на MacBook Pro |
💬 Часті запитання
Чи варто це тестувати замість офіційного Qwen2.5-32B?
Ні. Офіційна модель має перевірену якість, підтримку в llama.cpp/Ollama/vLLM, документацію. Цей форк — сирий експеримент з відомою поломкою MTP.
Що таке MTP спекулятивне декодування і чи критично його відсутність?
MTP (Multi-Token Prediction) дозволяє генерувати кілька токенів за прогін — прискорює інференс 1.5-2x. Без mtp.fc.weight це не працює. Для батчової обробки це критично, для чату — помітно.
Чи працюватиме це на MacBook (Metal/MPS)?
NVFP4 не має нативної підтримки на Apple Silicon. Працюватиме через CPU fallback — дуже повільно. Для Mac краще взяти офіційний Qwen2.5-14B/32B у GGUF.
Де знайти виправлений форк з MTP тензором?
Стежте за репозиторієм PassingByPixels або пошукайте форки з суфіксом -MTP. За тиждень з'явиться 5-10 форків з виправленням — тоді матиме сенс тестувати.
Яка ліцензія у цього релізу?
У репозиторії не вказано. Qwen базова — Apache 2.0, але merge-компоненти (Architect, Polaris2, Fable) можуть мати інші ліцензії. Для комерційного використання — ризиковано без перевірки.
Підтекст
Це не офіційний реліз від Alibaba/Qwen, а ком'юніті-злиття від анонімного автора PassingByPixels. Відсутність MTP-тензора в основному репо свідчить про те, що збірка вийшла сирою — автор публікував швидше, ніж перевірив. Очікуйте форків з виправленням за дні.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me