ForgePlex-M2-9M: модель з 9,95 мільйона параметрів типу decoder-only
Опубліковано модель ForgePlex-M2-9M з 9,95 мільйона параметрів. Вона навчена на 30 млрд токенів з використанням GQA, RoPE та SwiGLu та досягла індексу інтелекту 9,14.
ВердиктНейтральнаImpact 4/10
🔬 Цікаво для досліджень. Архитектурні новинки (GQA, RoPE, SwiGLU) у маленькій моделі — для тих, хто експериментує з ефективними LLM.
Ключові тези
- Архітектура decoder-only з 9,95 мільйона параметрів
- Навчена на 30 млрд токенів з GQA, RoPE та SwiGLU
- Індекс інтелекту — 9,14
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундТакий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналForgePlex-M2-9MLLMdecoder-onlyGQARoPESwiGLUIntelligenceIndex
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live