MiMo-V2.6-Flash-2x-DGX-Sparks: запуск 309B моделі на двох DGX Sparks

TL;DR

• •Запущена модель MiMo-V2.6-Flash з 309B параметрів
• •Використано два NVIDIA DGX Sparks як апаратну платформу
• •Досягнуто 2,558 токен/сек при попередньому заповненні
• •Контекст розширено до 1,048,576 токенів з MXFP4 експертами
• •Репозиторій доступний на GitHub: github.com/MiaAI-Lab/MiMo-V2.6-Flash-2x-DGX-Sparks

Як це змінить ваш ринок?

Для kompanій у галузі виробництва та IT цей реліз не змінює операційних реальностей — доступ до двох DGX Sparks вимагає інвестицій у мільйони доларів та спеціалізованої інфраструктури. Проте він підкреслює напрямок розвитку оптимізацій інференсу для великих моделей, що в довгостроковій перспективі може знизити бар’єри входу через хмарні пропозиції або більш ефективні алгоритми. Наразі це більше дослідження, а не інструмент для повсякденного використання.

Визначення: DGX Sparks — це компактині AI-суперкомп’ютери від NVIDIA, призначені для розробки та інференсу великих мовних моделей у локальних середовищах.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Для IT-команд: два DGX Sparks (~$200,000+ за одиницю), фахівці з SGLang та MXFP4, 1-2 тижні на інтеграцію
• •Для лідерства: це не інструмент для прийняття рішень — це демонстрація технічних можливостей без прямої бізнес-цінності для SMB

Альтернативи

| | Продукт 1 | Продукт 2 | Продукт 3 | | Ціна | $0.002/1K токенів (OpenAI API) | $0.0005/1K токенів (власний fine-tuned 7B) | дані не розкриті (MiMo-V2.6-Flash самостійний хост) | Де працює | хмара (API) | локально (RTX 4090+) | два DGX Sparks | Мін. вимоги | інтернет-з’єднання | 24GB GPU, Linux | два DGX Sparks, фахівець з оптимізацією | Ключова різниця | готовіть до використання | низька вартість, обмежений розмір | максимальна пропускна здатність для спеціалізованих випадків