Surjo-50m: гібридна рекурентна модель з GDN-2 увагою
Surjo-50M — це гібридна рекурентна модель з 53,8 млн параметрів, що поєднує GDN-2 лінійну увагу з повною увагою. Досягає 18 ефективних шарів за 10 фізичних та показує результати 63,11% на PIQA та 44,99% на ARC-Easy.
ВердиктНейтральнаImpact 4/10
🔬 Цікаво для досліджень, але не для продакшену. Для тих, хто експериментує з архітектурами уваги та шукає альтернативи чистим трансформерам.
Ключові тези
- Модель з 53,8 млн параметрів гібридної рекурентної архітектури
- Поєднує GDN-2 лінійну увагу з повною увагою
- 18 ефективних шарів реалізовано за 10 фізичних
- Результати: 63,11% на PIQA та 44,99% на ARC-Easy
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундТакий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналSurjo-50mGDN-2hybridrecurrentmodellinearattentionPIQAARC-Easy
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live