Випущено Qwen3.6-35B-A3B без цензури в квантуванні NVFP4
Опубліковано нецензурну версію Qwen3.6-35B-A3B у квантуванні NVFP4 з 19 збереженими MTP-модулями та на 88% меншими відмовами. Модель доступна на Hugging Face для експертного використання.
🔬 Експериментальний реліз для ентузіастів, не бізнес-інструмент. Без підтримки, SLA та гарантій якості компанія на 10-50 людей його не впровадить у продакшен — це репозиторій для тестів на власний страх.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Модель: Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-NVFP4
- •Квантування: NVFP4 (4-біт з нормалізацією), 19 MTP-модулів збережено
- •Метод децензури: Heretic v1.3.0, заявлено -88% відмов
- •Джерело: huggingface.co/llmfan46/... (репозиторій користувача, не офіційний реліз Qwen)
- •Статус: експериментальний, позначка "Experts-Only", без офіційної підтримки
Як це змінить ваш ринок?
Для більшості українських компаній 10-50 людей — жодним чином. Це не продукт, а суміш ваг для дослідників, які самі збирають інференс-стек. Ринок локальних LLM рухається до офіційних квантованих релізів від Alibaba/Qwen 팀у (наприклад, Qwen2.5-32B-Instruct-GPTQ) — вони мають документацію, тестовані конфіги та підтримку llama.cpp "з коробки".
Визначення: NVFP4 — 4-бітове квантування з Normalized Float Point, яке краще зберігає точність на низьких бітах за GPTQ/AWQ, але вимагає спеціальної підтримки в інференс-двигуні.
Для кого це і за яких умов
- •Мін. обладнання: GPU з 24+ GB VRAM (35B параметрів у 4-біт ~20 GB ваг + KV-кеш)
- •Команда: потрібен ML-інженер, який зможе зібрати llama.cpp/vLLM з підтримкою NVFP4, налаштувати шаблони чату Qwen і протестувати адекватність відповідей
- •Масштаб: тільки для компаній з власною GPU-інфраструктурою та командою R&D (≥50 осіб з IT-відділом)
- •Час на впровадження: 2-5 днів на налаштування стеку + тижні на валідацію якості
- •Для SMB без GPU-ферми та ML-інженерів: не підходить — використовуйте API (OpenAI, Anthropic) або офіційні квантовані релізи, що працюють в Ollama/LM Studio "з коробки"
Альтернативи
| Qwen2.5-32B-Instruct-GPTQ (офіційний) | Llama-3.1-70B-Instruct-AWQ | GPT-4o-mini API | |
|---|---|---|---|
| Ціна | Безкоштовно (ваги) | Безкоштовно (ваги) | $0.15/1M вхід, $0.6/1M вихід |
| Де працює | Ollama, LM Studio, llama.cpp, vLLM | Ollama, LM Studio, llama.cpp, vLLM | Хмара, будь-який клієнт |
| Мін. вимоги | GPU 16-24 GB (залежно від кванту) | GPU 24-48 GB | Інтернет + API-ключ |
| Ключова різниця | Офіційний реліз, перевірена якість, підтримка шаблонів чату | Найкраща відкрита модель для reasoning, великий контекст | Найвища якість "з коробки", без інфраструктури |
💬 Часті запитання
Чи можна це використати в продакшені сьогодні?
Ні. Це експериментальний чекпоінт без гарантій якості, безпеки та стабільності. Для продакшену використовуйте офіційні квантовані релізи Qwen2.5 або Llama-3.1.
Що таке Heretic v1.3.0 і чи безпечно це?
Heretic — це метод видалення відмов (abliteration), який модифікує ваги для зневажання безпечних напрямків. Це підвищує ризик токсичного контенту, галюцинацій та утечок даних. Не рекомендується для клієнтських застосунків.
Чи працює це в Ollama / LM Studio "з коробки"?
Ні. NVFP4 вимагає спеціальної підтримки в інференс-двигуні. Офіційні GPTQ/AWQ квантування Qwen2.5 працюють в Ollama одразу.
Які реальні вимоги за залізом?
35B параметрів у 4-біт ≈ 20 GB ваг. Потрібно 24+ GB VRAM для комфортного інференсу з контекстом 4-8K. На CPU/Apple Silicon — дуже повільно.
Чому автор назвав це "Experts-Only"?
Тому що це сировий артефакт: потрібно самостійно збирати двигун, підбирати шаблони чату, тестувати адекватність. Це не "скачав — запустив — працює".
Підтекст
Автор (llmfan46) публікує квантований чекпоінт без бенчмарків якості генерації, без тестів на токсичність і без інструкцій по деплою. «88% менше відмов» — це метрика фільтра, а не інтелекту. Для бізнесу це сировина, а не продукт.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me