Модель Nanbeige4.3-33B у форматі MLX 4-біт для Apple Silicon
Модель Nanbeige4.3-33B квантована до MLX 4-біт для Apple Silicon. Розмір файлу — 18,6 ГБ, працює на M5 Pro 64GB зі швидкістю 10-14 токенів на секунду та підтримує контекст 128к токенів.
🔬 Експериментальний реліз. Для компаній на 10-50 людей це не готовий продукт, а посилання для розробника, якщо у вас є своя технічна команда.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
• Модель Nanbeige4.3-33B квантована до формату MLX 4-біт. • Розмір моделі становить 18,6 ГБ. • Тестовано на апаратному забезпеченні Apple M5 Pro з 64 ГБ оперативної пам'яті. • Швидкість генерації становить близько 10-14 токенів на секунду. • Підтримується вікно контексту у 128к токенів.
Як це змінить ваш ринок?
Це технічний реліз для розробників, а не комерційний продукт для бізнесу. Для компаній без власної IT-команди це не змінює нічого в операційній діяльності.
Визначення: Квантування до 4-біт — це процес зменшення розміру моделі штучного інтелекту шляхом скорочення точності чисел, що дозволяє запускати великі моделі на пристроях з обмеженими ресурсами.
Для кого це і за яких умов
Це актуально для компаній з власними розробниками та доступом до обладнання Apple Silicon. Мін. вимоги: Mac з чіпом M-серії та достатньою кількістю оперативної пам'яті. Час на впровадження: залежить від технічної команди, це не готове рішення «встанови і працюй».
Альтернативи
| Продукт 1 | Продукт 2 | Продукт 3 | |
|---|---|---|---|
| Ціна | дані не розкриті | дані не розкриті | дані не розкриті |
| Де працює | Apple Silicon | хмара | локальний сервер |
| Мін. вимоги | M-серія чіпів | браузер | GPU |
| Ключова різниця | локальний запуск | доступність через API | повний контроль |
💬 Часті запитання
Чи підходить це для малого бізнесу без IT-отділу?
Ні, це репозиторій для розробників, а не готовий сервіс для кінцевого користувача.
Яка швидкість роботи?
За даними статті, близько 10-14 токенів на секунду на M5 Pro 64GB.
Чи є обмеження контексту?
Так, модель підтримує вікно контексту у 128к токенів.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me