AI News
ДІЇ НЕМАНейтральнаImpact 3/10BetaВід 50 людей

Випущено Qwen3.6-35B-A3B без цензури в квантуванні NVFP4

Редакція AI NewsДжерело: Shir-man Daily TopОпубліковано Оновлено
Shir-man Daily Top•близько 20 годин тому•0 переглядів•

Опубліковано нецензурну версію Qwen3.6-35B-A3B у квантуванні NVFP4 з 19 збереженими MTP-модулями та на 88% меншими відмовами. Модель доступна на Hugging Face для експертного використання.

ВердиктНейтральнаImpact 3/10

🔬 Експериментальний реліз для ентузіастів, не бізнес-інструмент. Без підтримки, SLA та гарантій якості компанія на 10-50 людей його не впровадить у продакшен — це репозиторій для тестів на власний страх.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •Модель: Qwen3.6-35B-A3B-uncensored-heretic-Native-MTP-Preserved-NVFP4
  • •Квантування: NVFP4 (4-біт з нормалізацією), 19 MTP-модулів збережено
  • •Метод децензури: Heretic v1.3.0, заявлено -88% відмов
  • •Джерело: huggingface.co/llmfan46/... (репозиторій користувача, не офіційний реліз Qwen)
  • •Статус: експериментальний, позначка "Experts-Only", без офіційної підтримки

Як це змінить ваш ринок?

Для більшості українських компаній 10-50 людей — жодним чином. Це не продукт, а суміш ваг для дослідників, які самі збирають інференс-стек. Ринок локальних LLM рухається до офіційних квантованих релізів від Alibaba/Qwen 팀у (наприклад, Qwen2.5-32B-Instruct-GPTQ) — вони мають документацію, тестовані конфіги та підтримку llama.cpp "з коробки".

Визначення: NVFP4 — 4-бітове квантування з Normalized Float Point, яке краще зберігає точність на низьких бітах за GPTQ/AWQ, але вимагає спеціальної підтримки в інференс-двигуні.

Для кого це і за яких умов

  • •Мін. обладнання: GPU з 24+ GB VRAM (35B параметрів у 4-біт ~20 GB ваг + KV-кеш)
  • •Команда: потрібен ML-інженер, який зможе зібрати llama.cpp/vLLM з підтримкою NVFP4, налаштувати шаблони чату Qwen і протестувати адекватність відповідей
  • •Масштаб: тільки для компаній з власною GPU-інфраструктурою та командою R&D (≥50 осіб з IT-відділом)
  • •Час на впровадження: 2-5 днів на налаштування стеку + тижні на валідацію якості
  • •Для SMB без GPU-ферми та ML-інженерів: не підходить — використовуйте API (OpenAI, Anthropic) або офіційні квантовані релізи, що працюють в Ollama/LM Studio "з коробки"

Альтернативи

Qwen2.5-32B-Instruct-GPTQ (офіційний)Llama-3.1-70B-Instruct-AWQGPT-4o-mini API
ЦінаБезкоштовно (ваги)Безкоштовно (ваги)$0.15/1M вхід, $0.6/1M вихід
Де працюєOllama, LM Studio, llama.cpp, vLLMOllama, LM Studio, llama.cpp, vLLMХмара, будь-який клієнт
Мін. вимогиGPU 16-24 GB (залежно від кванту)GPU 24-48 GBІнтернет + API-ключ
Ключова різницяОфіційний реліз, перевірена якість, підтримка шаблонів чатуНайкраща відкрита модель для reasoning, великий контекстНайвища якість "з коробки", без інфраструктури

💬 Часті запитання

Чи можна це використати в продакшені сьогодні?

Ні. Це експериментальний чекпоінт без гарантій якості, безпеки та стабільності. Для продакшену використовуйте офіційні квантовані релізи Qwen2.5 або Llama-3.1.

Що таке Heretic v1.3.0 і чи безпечно це?

Heretic — це метод видалення відмов (abliteration), який модифікує ваги для зневажання безпечних напрямків. Це підвищує ризик токсичного контенту, галюцинацій та утечок даних. Не рекомендується для клієнтських застосунків.

Чи працює це в Ollama / LM Studio "з коробки"?

Ні. NVFP4 вимагає спеціальної підтримки в інференс-двигуні. Офіційні GPTQ/AWQ квантування Qwen2.5 працюють в Ollama одразу.

Які реальні вимоги за залізом?

35B параметрів у 4-біт ≈ 20 GB ваг. Потрібно 24+ GB VRAM для комфортного інференсу з контекстом 4-8K. На CPU/Apple Silicon — дуже повільно.

Чому автор назвав це "Experts-Only"?

Тому що це сировий артефакт: потрібно самостійно збирати двигун, підбирати шаблони чату, тестувати адекватність. Це не "скачав — запустив — працює".

Підтекст

Автор (llmfan46) публікує квантований чекпоінт без бенчмарків якості генерації, без тестів на токсичність і без інструкцій по деплою. «88% менше відмов» — це метрика фільтра, а не інтелекту. Для бізнесу це сировина, а не продукт.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
QwenLLMuncensoredNVFP4HuggingFacequantization

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me