Випущено нову декодерну модель MP-01-100M-base з 100М параметрів
Домінік Анджеєвський випустив модель MP-01-100M-base з 100,6М параметрів на кастомній архітектурі VBQ, натреновану на FineWeb-Edu та Вікіпедії. Модель показала середній результат 47,29 по 7 бенчмарках.
🔬 Дослідницький реліз без бізнес-застосування. Модель 100М параметрів з кастомною архітектурою — це експеримент для ентузіастів, не інструмент для компаній будь-якого розміру.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Модель: MP-01-100M-base, 100,6М параметрів, decoder-only
- •Архітектура: кастомна VBQ, 18 шарів, GQA
- •Датасет: FineWeb-Edu + Вікіпедія
- •Результат: 47,29 середнє по 7 бенчмарках (назви тестів не розкриті)
- •Ліцензія/доступ: Hugging Face (Manprot/MP-01-100M-base), комерційне використання — дані не розкриті
Як це змінить ваш ринок?
Не змінить. Це архітектурний експеримент у категорії "tiny LLM" (<500М параметрів), де перемагають Qwen2-0.5B, SmolLM2-135M, TinyLlama — усі з готовими чекпоінтами, квантизацією та інструментарієм для on-device інференсу. VBQ-архітектура без порівняння з SOTA в цьому сегменті — лише гіпотеза.
Визначення: VBQ (Variable Block Quantization / подібні варіації) — нестандартний термін; у контексті 100М моделей ймовірно стосується експериментальної квантизації або уваги з динамічними блоками. Автор не публікував технічний звіт.
Для кого це і за яких умов
Для нікого в бізнесі. Мінімальні вимоги: GPU для fine-tuning (якщо ваги відкриті), час інженера на інтеграцію кастомної архітектури без екосистеми. Готового рішення для on-device/edge немає — лише ваги на HF Hub.
Альтернативи
| Qwen2-0.5B | SmolLM2-135M | TinyLlama-1.1B | |
|---|---|---|---|
| Ціна | Безкоштовно (Apache 2.0) | Безкоштовно (Apache 2.0) | Безкоштовно (Apache 2.0) |
| Де працює | CPU, мобільні, браузер (WebLLM) | CPU, мобільні, браузер | CPU, GPU, мобільні |
| Мін. вимоги | 1-2GB RAM | <1GB RAM | 2-3GB RAM |
| Ключова різниця | SOTA якість у класі, екосистема HF/llama.cpp/MLX | Оптимізована для on-device, є інструкційні версії | Перевірена в продакшені, широка підтримка інструментів |
💬 Часті запитання
Чи можна використати MP-01-100M-base в продакшені?
Нет. Це дослідницький чекпоінт без документації для деплою, бенчмарків на реальних задачах, підтримки квантизації (GGUF/EXL2) чи інтеграції з llama.cpp/ollama.
Що таке VBQ архітектура?
Автор не публікував папер чи технічний опис. У контексті 100М моделей це ймовірно експеримент з квантизацією уваги або блоковою структурою, але без деталей — це «чорна скринька».
Як модель порівнюється з Qwen2-0.5B?
Дані не розкриті. Автор наводить лише середнє 47,29 по 7 невідомих тестах. Qwen2-0.5B має публічні результати на MMLU, GSM8K, HumanEval тощо — порівняння неможливе.
Чи варто інвестувати час у тестування?
Тільки якщо ви досліджуєте нові архітектури attention/квантизації для tiny LLM. Для бізнес-задач — ні, існують готові альтернативи з екосистемою.
Підтекст
Автор публікує архітектурний експеримент VBQ як open-source артефакт. Це не продукт і не сервіс — немає API, документації для продакшену, SLA чи комерційної підтримки.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me