Thor-T-35B-A3B: нова 35-міліардна тернарна MoE модель з 3 мільярдами активних параметрів
Опубліковано нову модель Thor-T-35B-A3B з 35 мільярдами параметрів і 3 мільярдами активних. Це дозволяє запускати потужну ШІ на менш потужному обладнанні.
🔬 Експериментальний інструмент. Для компаній на 10-50 людей це демо для розробників, а не готовий бізнес-продукт без власної IT-команди.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •
Модель має 35 мільярдів загальних параметрів з 3 мільярдами активних.
- •
Доступні три варіанти: M, S і XS у форматі GGUF.
- •
Потрібен спеціальний форк llama.cpp для роботи.
- •
Розміщено на Hugging Face під обліковим записом Anjielon.
- •
Ліцензія та ціна не розкриті.
Як це змінить ваш ринок?
Тернарні MoE-моделі дозволяють зменшити обсяг пам'яті та обчислень без втрати якості. Для компаній це означає можливість запускати ШІ локально, уникаючи передачі даних стороннім API. Однак без стабільного інтегратора це залишається інструментом для IT-відділів, а не маркетингу або продажів.
Визначення: MoE (Mixture of Experts) — архітектура, де лише частина параметрів моделі активується для кожного запиту, що зменшує витрати обчислень.
Для кого це і за яких умов
Потрібна IT-команда для налаштування форка llama.cpp. Мін. обладнання залежить від варіанту: XS може працювати на потужному ноутбуці, M/S потребують GPU або хмари. Час на впровадження: кілька днів роботи інженера. Не підходить для компаній без власних розробників.
Альтернативи
| Продукт 1 | Продукт 2 | Продукт 3 | |
|---|---|---|---|
| Ціна | дані не розкриті | дані не розкриті | дані не розкриті |
| Де працює | локально через llama.cpp | локально через llama.cpp | хмара/API |
| Мін. вимоги | GPU або потужний CPU | GPU або потужний CPU | браузер |
| Ключова різниця | тернарна MoE архітектура | стандартна архітектура | готове рішення |
💬 Часті запитання
Чи потрібен спеціальний форк llama.cpp?
Так, стаття вказує на необхідність конкретного форка для роботи з моделлю.
Чи підходить це для малого бізнесу без IT-команди?
Ні, це інструмент для розробників, а не готовий сервіс для кінцевих користувачів.
Які варіанти моделі існують?
M, S і XS, оптимізовані для якості та швидкості відповідно.
Підтекст
Це сигнал про рух до менших активних моделей, які дають якість великих при менших витратах на обчислення. Для великих гравців це спосіб зменшити залежність від дорогих API.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me