AI News
ДІЇ НЕМАНейтральнаImpact 4/10ResearchДля всіх📺 Медіа і Контент

ForgePlex-M2-9M: модель з 9,95 мільйона параметрів типу decoder-only

Редакція AI NewsДжерело: Shir-man TrendingОпубліковано Оновлено
Shir-man Trending•близько 2 місяців тому•1 перегляд•

Опубліковано модель ForgePlex-M2-9M з 9,95 мільйона параметрів. Вона навчена на 30 млрд токенів з використанням GQA, RoPE та SwiGLu та досягла індексу інтелекту 9,14.

ВердиктНейтральнаImpact 4/10

🔬 Цікаво для досліджень. Архитектурні новинки (GQA, RoPE, SwiGLU) у маленькій моделі — для тих, хто експериментує з ефективними LLM.

Ключові тези

  • Архітектура decoder-only з 9,95 мільйона параметрів
  • Навчена на 30 млрд токенів з GQA, RoPE та SwiGLU
  • Індекс інтелекту — 9,14

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд

Підтекст

Модель позиціонується як дослідження ефективних технік у маленьких параметрах. Це не продукт для продакшену, а демонстрація можливостей оптимізації архітектури.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
ForgePlex-M2-9MLLMdecoder-onlyGQARoPESwiGLUIntelligenceIndex

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me