Ornith-1.5-35B-MaxQuality-MTP-GGUF: Швидка локальна модель з MTP-головкою
Опублікована нова GGUF-версія моделі Ornith-1.5-35B з донорською MTP-головкою. Вона забезпечує ~60 токенів/секунду при контексті 10K і краще зберігає швидкість при зростанні контексту, маючи варіанти квантування Q4_K_M та Q3_K_M.
🔬 Цікаво для технічних спеціалістів. Модель показує стабільну швидкість при довгих контекстах завдяки MTP — корисна для тих, хто запускає ЛЛМ локально та потребує передбачуваної продуктивності.
Ключові тези
- MTP-головка покращує збереження швидкості на довгих контекстах
- Досягає ~60 токенів/секунду при контексті 10K
- Доступна у варіантах квантування Q4_K_M та Q3_K_M
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундПідтекст
Оголошення про модель на Hugging Face — типовий реліз опенсорсних ваг. Основна цінність — в технічному підході (MTP для стабільності швидкості), а не у доступності або ліцензії, які стандартні для GGUF.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me