Qwen3.6-35B-A3B Uncensored GPTQ-Int4: модель з 10% відмов на Hugging Face
Випущено квантовану версію Qwen3.6-35B-A3B без цензури: відмови впали з 83% до 10% при збереженні високих показників MMLU. Модель доступна на Hugging Face у форматі GPTQ-Int4.
🔬 Експериментальний реліз для ентузіастів локального ШІ. Якість порівняна з пропрієтарними API, але без підтримки, SLA та гарантій — для бізнесу до 50 людей це «подивись і забуй», якщо нема власного ML-інженера.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Модель: Qwen3.6-35B-A3B-uncensored-heretic-GPTQ-Int4 (MoE, 3B активних параметрів)
- •Джерело: huggingface.co/llmfan46/Qwen3.6-35B-A3B-uncensored-heretic-GPTQ-Int4
- •Відмови: 83% → 10% після видалення цензури
- •Формат: GPTQ-Int4, ~20 GB VRAM/RAM для завантаження
- •Ліцензія: нащадок Qwen (ймовірно Apache 2.0, але перевірте репозиторій)
Як це змінить ваш ринок?
Локальні нецензурні моделі стають доступними для SMB без GPU-ферм. Це знімає залежність від OpenAI/Anthropic для задач, де критична конфіденційність даних або відсутність інтернету. Але: без інженерної підтримки це залишається хобі, а не бізнес-інструмент.
Визначення: MoE (Mixture of Experts) — архітектура, де лише частина параметрів (тут 3B з 35B) активується на кожному токені. Дає якість великої моделі з витратами малої.
Для кого це і за яких умов
- •Мінімум заліза: 24 GB VRAM (RTX 3090/4090) або 32 GB системної RAM для offload
- •Команда: потрібен ML-інженер для деплою (llama.cpp, vLLM, TGI), настройки квантування, моніторингу галюцинацій
- •Масштаб: актуально від 10+ співробітників, якщо є власний інженер; для 1-5 осіб — надто складно
- •Час впровадження: 1-3 дні на стабільний сервінг, тести якості, fallback-ланцюжки
Альтернативи
| Qwen3.6-35B-A3B-GPTQ-Int4 | Llama-3.1-8B-Instruct-GPTQ | GPT-4o-mini API | |
|---|---|---|---|
| Ціна | Безкоштовно (власне залізо) | Безкоштовно (власне залізо) | $0.15/1M вхід, $0.6/1M вихід |
| Де працює | Локально / приватне хмаре | Локально / приватне хмаре | Тільки хмара OpenAI |
| Мін. вимоги | 24 GB VRAM / 32 GB RAM | 8-10 GB VRAM / 16 GB RAM | Інтернет, API-ключ |
| Ключова різниця | MoE 35B, 10% відмов, без SLA | Щільна 8B, стабільна, є екосистема | Найвища якість, SLA, дані йдуть третім сторонам |
💬 Часті запитання
Чи можна використовувати це в продакшені без ML-інженера?
Ні. Деплой MoE-моделей з GPTQ вимагає налаштування сервінг-двигуна (vLLM/TGI), керування KV-кешем, моніторингу токенів/сек. Без інженера — нестабільно.
Яка різниця з офіційним Qwen3.6-35B-A3B?
Офіційна модель має вбудовані безпечні обмеження (відмови на 83% небезпечних запитів). Ця версія — модифікована третім лицом (llmfan46) для зняття обмежень. Офіційної підтримки немає.
Чи працює українською?
Qwen3 підтримує 100+ мов, включаючи українську. Якість генерації українською у квантованій Int4 версії — перевірте на своїх промптах, Int4 іноді ламає морфологію.
Що таке KL divergence і чому це важливо?
KL divergence міряє, наскільки розподіл виводу модифікованої моделі відхиляється від оригінальної. Низький KL = модель веде себе подібно до базової, просто без відмов. Високий KL = непередбачувані галюцинації.
Чи є альтернатива з підтримкою?
Так — Llama-3.1-8B/70B-Instruct від Meta (офіційні релізи, активна спільнота, краща документація) або комерційні API (GPT-4o-mini, Claude Haiku) якщо дані можна віддати третім сторонам.
Підтекст
Автор репозиторію llmfan46 не розкриває деталі процесу «uncensoring» — чи це fine-tuning на відфільтрованих даних, чи просте видалення системних промптів. Низький KL divergence вказує на мінімальне відхилення від оригінальної розподілу, але без відкритого датасету та методу це «чорна скринька». Для продакшену це ризик: невідома поведінка на едж-кейсах, відсутність оновлень безпеки.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me