AI News
ДІЇ НЕМАНейтральнаImpact 3/10BetaВід 10 людей

Модель Nanbeige4.3-33B у форматі MLX 4-біт для Apple Silicon

Редакція AI NewsДжерело: Shir-man TrendingОпубліковано Оновлено
Shir-man Trending•19 днів тому•0 переглядів•

Модель Nanbeige4.3-33B квантована до MLX 4-біт для Apple Silicon. Розмір файлу — 18,6 ГБ, працює на M5 Pro 64GB зі швидкістю 10-14 токенів на секунду та підтримує контекст 128к токенів.

ВердиктНейтральнаImpact 3/10

🔬 Експериментальний реліз. Для компаній на 10-50 людей це не готовий продукт, а посилання для розробника, якщо у вас є своя технічна команда.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

• Модель Nanbeige4.3-33B квантована до формату MLX 4-біт. • Розмір моделі становить 18,6 ГБ. • Тестовано на апаратному забезпеченні Apple M5 Pro з 64 ГБ оперативної пам'яті. • Швидкість генерації становить близько 10-14 токенів на секунду. • Підтримується вікно контексту у 128к токенів.


Як це змінить ваш ринок?

Це технічний реліз для розробників, а не комерційний продукт для бізнесу. Для компаній без власної IT-команди це не змінює нічого в операційній діяльності.


Визначення: Квантування до 4-біт — це процес зменшення розміру моделі штучного інтелекту шляхом скорочення точності чисел, що дозволяє запускати великі моделі на пристроях з обмеженими ресурсами.


Для кого це і за яких умов

Це актуально для компаній з власними розробниками та доступом до обладнання Apple Silicon. Мін. вимоги: Mac з чіпом M-серії та достатньою кількістю оперативної пам'яті. Час на впровадження: залежить від технічної команди, це не готове рішення «встанови і працюй».


Альтернативи

Продукт 1Продукт 2Продукт 3
Цінадані не розкритідані не розкритідані не розкриті
Де працюєApple Siliconхмаралокальний сервер
Мін. вимогиM-серія чіпівбраузерGPU
Ключова різницялокальний запускдоступність через APIповний контроль

💬 Часті запитання

Чи підходить це для малого бізнесу без IT-отділу?

Ні, це репозиторій для розробників, а не готовий сервіс для кінцевого користувача.

Яка швидкість роботи?

За даними статті, близько 10-14 токенів на секунду на M5 Pro 64GB.

Чи є обмеження контексту?

Так, модель підтримує вікно контексту у 128к токенів.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
Nanbeige4.3-33BMLXAppleSiliconLLMquantizationlocalAI

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me