Maple-Preview: тернарна вага LLM 20B MoE працює зі швидкістю 120 токенів/с на iPhone
Maple-Preview — це модель з тернарною вагою та 20 мільярдами параметрів, яка працює на iPhone зі швидкістю понад 120 токенів на секунду. Це демонструє, що ефективні моделі AI можуть працювати локально на споживчих пристроях, зменшуючи залежність від хмарних інференсів та знижаючи операційні витрати для бізнесу.
🔬 Швидкий LLM. Працює на iPhone, дає доступ до розумного AI без хмари — для тих, кому потрібна приватність та низька latency.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Maple-Preview — це тернарна вага MoE LLM з 20B параметрами.
- •Швидкість >120 токенів/с на iPhone, >200 на Mac mini M4.
- •Перевершує Qwen3.5 35B на тестах розумного thinking (MATH, GSM8K).
- •Демонструє можливість локального AI на споживчих пристроях без хмарного з’єднання.
- •Посилання на проєкт: deepgrove.ai/maple-preview (доступний для тестування).
Як це змінить ваш ринок?
Для медіакомпаній головним блокуєм є потреба передавати敏感ний текстовий контент до зовнішніх API, що створює ризик порушення конфіденційності та додаткові витрати на кожний запит. Локальний запуск Maple-Preview на iPhone або Mac mini дозволяє виконувати інференс повністю на пристрої, знижуючи витрати на токени до практичного нуля та забезпечуючи повний контроль над даними.
Визначення: Тернарна вага — це метод кодування ваг нейронної мережі, де кожен параметр може nabувати лише трьох значень: -1, 0 або +1, що зменшує pam’ять та обчислювальні витрати.
Для кого це і за яких умов
Для запуску Maple-Preview достатньо iPhone 15 Pro або новішого (6 GB RAM, A17 Pro чи аналогічний процесор) або Mac mini M4. Потрібна лише basic інсталяція з репозиторія, без IT-команди, час на впровадження — менше 30 хвилин. Масштаб: будь-яка команда з 1+ людини, особливо корисно для фрілансів та маленьких студій.
Альтернативи
| Продукт | Ціна | Де працює | Мін. вимоги | Ключова різниця |
|---|---|---|---|---|
| Phi-3-mini (Microsoft) | безкоштовно | iPhone/Android | 4 GB RAM | менша кількість параметрів (3.8 B) та нижча точність у розумних тестах |
| Gemini Nano (Google) | безкоштовно (через Android AICore) | Pixel 8 і новіші | Tensor G3 чи вище | оптимізовано для мобільних засобів Google, але доступно лише на підтримуваних пристроях |
| Mistral Small 3 (Mistral AI) | безкоштовно (Hugging Face) | ноутбуки з 8 GB RAM або GPU 6 GB | 8 GB RAM | більша точність у загальних задачах, проте потребує вищих обчислювальних ресурсів |
💬 Часті запитання
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналНавчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live