AI News
ДІЇ НЕМАНейтральнаImpact 3/10BetaВід 50 людей🏭 Виробництво і Промисловість

Тернарна модель 27B для локального запуску на Apple M4 та RTX 4090

Редакція AI NewsДжерело: Shir-man Daily TopОпубліковано Оновлено
Shir-man Daily Top•6 днів тому•7 переглядів•

Опубліковано конвертацію моделі 27B у форматі Q2TP CMF об'ємом 7,68 ГіБ. Модель працює на Apple M4 та RTX 4090 через бекенди CUDA, Vulkan або Metal.

ВердиктНейтральнаImpact 3/10

🔬 Експериментальний репозиторій, а не готовий продукт. Для компаній на 10-50 людей без власної IT-команди тут немає дії: це код для ентузіастів, а не сервіс, який можна підключити сьогодні.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •

    Розмір моделі: 7,68 ГіБ у форматі Q2TP CMF

  • •

    Потрібний бекенд: Cortiq 0.6.9 для CUDA, Vulkan або Metal

  • •

    Швидкість на Apple M4: 7,5–8,7 токенів на секунду

  • •

    Швидкість на RTX 4090 Vulkan: 42 токени на секунду

  • •

    Джерело: репозиторій на Hugging Face від користувача infosave


Як це змінить ваш ринок?

Це технічний реліз для розробників, а не бізнес-продукт. Компаніям без інженерів це не дає жодного практичного інструменту для роботи цього тижня.


Для кого це і за яких умов

Для команд з власним розробником, який може розгортати моделі на GPU. Мін. вимоги: Apple M4 або NVIDIA RTX 4090. Час на впровадження: кілька днів роботи інженера. Бюджет: власне обладнання або оренда хмари.

Визначення: Квантовання — процес зменшення точності ваг моделі для зменшення розміру та прискорення роботи на обладнанні.


Альтернативи

Продукт 1Продукт 2Продукт 3
Цінабезкоштовнодані не розкритідані не розкриті
Де працюєлокально на GPUлокально на GPUхмара
Мін. вимогиGPU 24GB+GPU 16GB+браузер
Ключова різницяготовий репозиторійінша квантована моделькомерційний API

💬 Часті запитання

Чи можна використовувати це в бізнесі сьогодні?

Тільки якщо у вас є власний розробник, який встановить Cortiq 0.6.9 і налаштує бекенд. Для нетехнічної команди це не придатно.

Чи потрібна потужна GPU?

Так. На Apple M4 швидкість низька — 7,5–8,7 токенів/сек, на RTX 4090 — 42 токени/сек.

Де знайти модель?

На Hugging Face за посиланням infosave/Ternary-Bonsai-2-27B-cmf.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
LLMquantizationlocalAITernary-BonsaiCortiq

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me