Qwen3.8-Whittle-16B: стиснена модель 16,8B параметрів досягла 36/39 успіху у завданнях
Створено стиснену модель Qwen3.8-Whittle-16B на основі Qwen3.8-27B через приплюснування та QLoRA-лікування. Вона досягає 36 з 39 успішних завдань і 20 токенів на секунду на GPU з 8 ГБ пам’яті, але потребує спеціальних параметрів запуску для уникнення циклів повторень.
🔬 Цікаво для експериментів. Стиснення дає доступ до 16B-класу на середніх GPU — для тих, хто тестує локальні LLM у межах бюджету на обчислення.
Що це означає для вас
Запустіть модель з параметрами, зазначеними у статті, щоб перевірити чи уникаєте ви циклів повторень у вашому кейсі
Перший крокСкачайте модель з huggingface.co/logic65/Qwen3.8-Whittle-16B та запустіть її з флагом, що забороняє повторення (наприклад, --no-repeat-ngram 2)
З новини: 20 t/s on 8GB GPUsІнструмент: Qwen3.8-Whittle-16B
Пропустіть, якщо: якщо ваша команда не має досвіду з налаштуванням LLM serving або ви використовуєте готові API замість самохостингу
Перевірте, чи витрачаєте ви надто на API, коли локальна модель на середньому GPU може дати схожі результати за правильного налаштування
Отримати карту AI-можливостей →🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Модель Qwen3.8-Whittle-16B має 16,8 млрд параметрів
- •Отримана шляхом приплюснування Qwen3.8-27B та одного QLoRA-лікування
- •Досягає 36/39 успіху у завданнях та 20 токенів на секунду на GPU з 8 ГБ
- •Потребує спеціальних параметрів serving для уникнення циклів повторень
- •Доступна на Hugging Face за посиланням huggingface.co/logic65/Qwen3.8-Whittle-16B
Як це змінить ваш ринок?
Для виробничих компаній, які хочуть впроваджувати AI у внутрішні процеси без залежності від зовнішніх API, ця модель демонструє шлях до економії: стиснення дозволяє запускати великі моделі на доступному обладнанні. Це зменшує бар’єр входження для середнього бізнесу у сферу локального AI, особливо там, де конфіденційність даних є критичною.
Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.
- •16B модель: GPU з 8 ГБ пам’яті (наприклад, RTX 4060 або аналог), без потреби в IT-команді для базового запуску, 30 хв на налаштування
- •Для стабільного використання в продакшені: потрібен інженер з досвідом оптимізації LLM serving, можливо додаткові витрати на тестування параметрів
- •Масштаб: актуально для команд від 50 людей, які мають внутрішні AI-ініціативи або тестують моделі для специфічних завдань
Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 |
| Ціна | безкоштовно (опенсорс) | $0,0006/1K токенів (API аналог) | $0,0003/1K токенів (конкурент) | | Де працює | локально на GPU з 8 ГБ+ | хмарний API | хмарний API | | Мін. вимоги | GPU 8 ГБ, навички налаштування LLM | інтернет-з’єднання, API-ключ | інтернет-з’єднання, API-ключ | | Ключова різниця | повна контроль над даними, без постійних витрат | простота використання, підтримка | нижча вартість при високих об’ємах |
💬 Часті запитання
Чи потрібна потужна GPU для запуску?
Так, для комфортного використання потрібна GPU з принаймні 8 ГБ відеопам’яті. На слабших картах модель може працювати повільно або не запускатися через недостатню пам’ять.
Чи можна використовувати цю модель для комерційних цілей?
Так, модель розповсюджується під ліцензією, що дозволяє комерційне використання, але потрібно перевірити точні умови на сторінці Hugging Face, оскільки вони можуть залежати від батьківської моделі Qwen3.8-27B.
Чи є гарантія, що модель не буде повторювати текст?
Ні, за замовчуванням модель може потрапляти в цикли повторень. Для уникнення цього потрібно використовувати специфічні параметры serving, такі як зменшення температури або активація штрафів за повторення n-грам.
Чи потрібно fine-tuning для досягнення зазначених результатів?
Ні, результати 36/39 успіху та 20 t/s отримані без додаткового fine-tuning — лише через приплюснування та один крок QLoRA-лікування, як описано в статті.
Чи є версії цієї моделі з іншою кількістю параметрів?
У статті згадується лише ця конкретна версія — Qwen3.8-Whittle-16B. Інші розміри можуть існювати, але вони не описані тут і вимагають окремого пошуку.
Підтекст
Це не продукт для продакшену, а демонстрація техніки стиснення: QLoRA-лікування після приплюснування показує, як відновити якомога більше якості без повного fine-tuningu. Для бізнесу це сигнал, що оптимізація моделей стає доступнішою, але ще потребує експертизи для налаштування.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me