Випущено нову 34B-параметрову модель для міркувань: Qwen3.6-34B-80L-Fable-5-Heretic

TL;DR

• •Модель має 34 мільярди параметрів та 80 шарів.
• •Дистильована з Fable-5 з використанням 4,665 CoT траєкторій.
• •Застосовано техніку QLoRA для оптимізації.
• •Довжина контексту становить 256K токенів.
• •Використовує MTP спекулятивне декодування.

Як це змінить ваш ринок?

Поява таких дистильованих моделей, як Qwen3.6-34B-80L-Fable-5-Heretic, може радикально змінити підхід компаній до розгортання великих мовних моделей, особливо у сферах, де критична ефективність та швидкість. Це дозволить бізнесам, що раніше були обмежені високими витратами на обчислювальні ресурси, отримати доступ до потужних LLM, знімаючи один з ключових блокерів для інновацій у сегменті середнього бізнесу.

Визначення: Дистиляція моделі — це процес навчання меншої, більш ефективної моделі (студента) для відтворення поведінки більшої, складнішої моделі (вчителя).

Для кого це і за яких умов

Ця модель підходить для R&D команд великих та середніх компаній (від 50+ співробітників), які мають досвід роботи з LLM та доступ до GPU-інфраструктури. Для розгортання та експериментів з 34B моделлю знадобляться GPU з об'ємом VRAM від 24GB+ (вартість від $2,000+ за карту) або хмарні ресурси вартістю від ~$0.5/годину. Потрібна IT-команда з ML-інженерами для інтеграції та fine-tuning, час на впровадження — від кількох днів до тижнів.

Альтернативи