A Coding Implementation to Run Qwen3.5 Reasoning Models Distilled with Claude-Style Thinking Using GGUF and 4-Bit Quantization

Цей посібник демонструє, як реалізувати моделі Qwen3.5, дистильовані з мисленням у стилі Claude, використовуючи GGUF та 4-бітне квантування. Він надає конвеєр Colab, який дозволяє перемикатися між варіантом 27B GGUF та легковаговою 4-бітною версією 2B за допомогою одного прапорця. Процес включає перевірку доступності GPU та умовне встановлення llama.cpp або transformers з bitsandbytes.