НейтральнаImpact 4/10🔬 Research👤 Для всіх📺 Медіа і Контент

Boris-1.7-D60M-n30M: трансформер з 60М параметрів та n-грамною таблицею

Shir-man Daily Top•близько 23 годин тому•0 переглядів•

Борис-1.7-D60M-n30M — це декодерний трансформер з 60М параметрів та 30М n-грамною таблицею, навчений на 2,5B токенів. Видалення таблиці призводить до spadku продуктивності на 0,7-3,1 пункту.

ВердиктНейтральнаImpact 4/10

🔬 Цікаво для дослідження, але не для продакшену. Для тих, хто експериментує з гібридними підходами у моделях мови.

Ключові тези

Архітектура декодерного трансформера з 60М параметрів
Інтегрована таблиця n-грам розміром 30М
Навчено на 2,5B токенів, досягнуто 1,0012 біт/символ

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

7 днів безкоштовно

Джерела

Shir-man Daily Top — оригінал

transformern-gramlanguagemodel60Mparametersablationstudy

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiupskill.live