MiniMax відкрила ваги M3.1 Flash — MoE-модель на 428 млрд параметрів

TL;DR

• •

  Модель має 428 млрд параметрів, з яких активними є близько 23 млрд на токен.

• •

  Доступні оцінки розробника: 73,7% на DeepSWE v1.1, 61,7 на OSWorld V2, 76,2 на BankerToolBench, 29,6 на Agents’ Last Exam, 82,2 на CyberGym.

• •

  Використовується MiniMax Sparse Attention та DSpark speculative decoding.

• •

  Ваги доступні для самостійного розгортання через Hugging Face та API.

• •

  Повне зберігання моделі вимагає значних інфраструктурних ресурсів.

Як це змінить ваш ринок?

Випуск ваг відкритих моделей такого розміру підвищує тиск на пропрієтарні API. Компанії, які бояться передавати дані третім сторонам, отримують технічну можливість самостійного розгортання, але лише якщо мають власний GPU-кластер.

Для бізнесів до 200 людей це не змінює нічого: вартість обладнання та обслуговування перевищує выгоду від використання відкритих ваг.

Визначення: MoE (Mixture of Experts) — архітектура моделі, при якій для обробки кожного токена активується лише частина параметрів, що зменшує обчислювальні витрати.

Для кого це і за яких умов

Модель підходить виключно для компаній з власною ML-командою і бюджетом на GPU-інфраструктуру. Мін. масштаб — середнє підприємство або enterprise. Самостійне розгортання вимагає тижнів роботи інженерів, а не 15 хвинів.

Альтернативи