Qwen3.8-2.4T-A95B-NVFP4

TL;DR

• •Модель Qwen3.8-2.4T-A95B-NVFP4 має 2,4 трільйона параметрів типу MoE.
• •Оптимізована для коду, досліджень та довготекстових задач до 1 млн токенів.
• •Працює на обладнанні NVIDIA Blackwell через vLLM або SGLang.
• •Доступна на Hugging Face під назвою nvidia/Qwen3.8-2.4T-A95B-NVFP4.
• •Вимагає спеціального NVFP4 квантування, доступного лише на Blackwell GPU.

Як це змінить ваш ринок?

Поява доступної відкритої моделі такого розміру змінює баланс сил між пропрієтарними API та самостійним хостингом. Компанії, які мають доступ до Blackwell GPU, тепер можуть запускати великі модалі локально, зменшуючи залежність від зовнішніх провайдерів та знижуючи вартість на токен при великих обсягах. Це особливо цінно для галузей, де важлива конфіденційність даних або потрібна стабільна производительность без змін у тарифах провайдера.

Визначення: MoE (Mixture of Experts) — архітектура моделі, де лише частина параметрів активна для кожного токену, зменшуючи обчислювальні витрати та збільшуючи ефективність при великій кількості параметрів.

Для кого це і за яких умов

Для використання потрібна система з Blackwell GPU (наприклад, B200) з достатньою пам’ятью для розміщення моделі, IT-спеціаліст, що налаштує vLLM або SGLang, та бюджет на електрику та обслуговування. Якщо власне залізо недоступно, можна скористатися хмарними інстансами з Blackwell, що коштує приблизно $2,50 за годину. Впровадження на одному сервері займає 1-2 тижні, включаючи завантаження ваг, тестування та інтеграцію з existentes системами. Менші команди без доступу до такого заліза повинні розглядати менші моделі або залишатися на API-провайдерах.

Альтернативи