Тернарна модель 27B для локального запуску на Apple M4 та RTX 4090
Опубліковано конвертацію моделі 27B у форматі Q2TP CMF об'ємом 7,68 ГіБ. Модель працює на Apple M4 та RTX 4090 через бекенди CUDA, Vulkan або Metal.
🔬 Експериментальний репозиторій, а не готовий продукт. Для компаній на 10-50 людей без власної IT-команди тут немає дії: це код для ентузіастів, а не сервіс, який можна підключити сьогодні.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •
Розмір моделі: 7,68 ГіБ у форматі Q2TP CMF
- •
Потрібний бекенд: Cortiq 0.6.9 для CUDA, Vulkan або Metal
- •
Швидкість на Apple M4: 7,5–8,7 токенів на секунду
- •
Швидкість на RTX 4090 Vulkan: 42 токени на секунду
- •
Джерело: репозиторій на Hugging Face від користувача infosave
Як це змінить ваш ринок?
Це технічний реліз для розробників, а не бізнес-продукт. Компаніям без інженерів це не дає жодного практичного інструменту для роботи цього тижня.
Для кого це і за яких умов
Для команд з власним розробником, який може розгортати моделі на GPU. Мін. вимоги: Apple M4 або NVIDIA RTX 4090. Час на впровадження: кілька днів роботи інженера. Бюджет: власне обладнання або оренда хмари.
Визначення: Квантовання — процес зменшення точності ваг моделі для зменшення розміру та прискорення роботи на обладнанні.
Альтернативи
| Продукт 1 | Продукт 2 | Продукт 3 | |
|---|---|---|---|
| Ціна | безкоштовно | дані не розкриті | дані не розкриті |
| Де працює | локально на GPU | локально на GPU | хмара |
| Мін. вимоги | GPU 24GB+ | GPU 16GB+ | браузер |
| Ключова різниця | готовий репозиторій | інша квантована модель | комерційний API |
💬 Часті запитання
Чи можна використовувати це в бізнесі сьогодні?
Тільки якщо у вас є власний розробник, який встановить Cortiq 0.6.9 і налаштує бекенд. Для нетехнічної команди це не придатно.
Чи потрібна потужна GPU?
Так. На Apple M4 швидкість низька — 7,5–8,7 токенів/сек, на RTX 4090 — 42 токени/сек.
Де знайти модель?
На Hugging Face за посиланням infosave/Ternary-Bonsai-2-27B-cmf.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me