Дисагрегована квантизація: LLM у два рази швидше та дешевле

TL;DR

• •Метод розділяє квантизацію префиллу (NVFP4) та генерації (1–3 біт)
• •Чекпоінт префиллу зберігається на SSD, зменшуючи вимоги до VRAM
• •Точність моделі не знижується при такому поділі
• •Демонстровано на Qwen3.8 та Gemma 3
• •Потребує кастомної інтеграції, не є готовим рішенням

Як це змінить ваш ринок?

Для компаній, які самостійно розгортають LLM і стиснені пам’яттю на GPU, цей метод може зменшити витрати на інфраструктуру. Однак без інструментів типу модифікованого vLLM або TensorRT-LLM впровадження вимагає глибоких змін у стеку. Це не зменшить залежність від хмари для тих, хто не має можливості адаптувати ядро інференсу.

Визначення: Дисагрегована квантизація — техніка, при якій різні частини обробки LLM (наприклад, префилл та генерація) використовують різні бітності ваг для оптимізації швидкості та пам’яті.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Потрібна: інженерна команда з досвідом оптимізації LLM-інференсу
• •Мін. масштаб: компанії з власними LLM-розгортаннями (не API-клієнти)
• •Час на впровадження: 2–4 тижні для інтеграції у кастомний стек
• •Бюджет: немає готового продукту — витрати на Р&Д

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 |

| Ціна | дані не розкриті | $0.0003/1K токенів (vLLM FP16) | $0.0001/1K токенів (vLLM INT4) | дані не розкриті | | Де працює | кастомний стек | vLLM, HuggingFace TGI | vLLM, TensorRT-LLM | кастомний стек | | Мін. вимоги | знання CUDA/Python | GPU 16GB+ | GPU 16GB+ | знання низенького рівня | | Ключова різниця | роздільна квантизація префиллу/генерації | стандартна квантизація | агресивна квантизація | теоретичний метод без інструментів |