AI News
ДІЇ НЕМАПозитивнаImpact 5/10BetaДля всіх📺 Медіа і Контент

Maple-Preview: тернарна вага LLM 20B MoE працює зі швидкістю 120 токенів/с на iPhone

Редакція AI NewsДжерело: Shir-man TrendingОпубліковано Оновлено
Shir-man Trending•4 місяці тому•3 перегляди•

Maple-Preview — це модель з тернарною вагою та 20 мільярдами параметрів, яка працює на iPhone зі швидкістю понад 120 токенів на секунду. Це демонструє, що ефективні моделі AI можуть працювати локально на споживчих пристроях, зменшуючи залежність від хмарних інференсів та знижаючи операційні витрати для бізнесу.

ВердиктПозитивнаImpact 5/10

🔬 Швидкий LLM. Працює на iPhone, дає доступ до розумного AI без хмари — для тих, кому потрібна приватність та низька latency.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •Maple-Preview — це тернарна вага MoE LLM з 20B параметрами.
  • •Швидкість >120 токенів/с на iPhone, >200 на Mac mini M4.
  • •Перевершує Qwen3.5 35B на тестах розумного thinking (MATH, GSM8K).
  • •Демонструє можливість локального AI на споживчих пристроях без хмарного з’єднання.
  • •Посилання на проєкт: deepgrove.ai/maple-preview (доступний для тестування).

Як це змінить ваш ринок?

Для медіакомпаній головним блокуєм є потреба передавати敏感ний текстовий контент до зовнішніх API, що створює ризик порушення конфіденційності та додаткові витрати на кожний запит. Локальний запуск Maple-Preview на iPhone або Mac mini дозволяє виконувати інференс повністю на пристрої, знижуючи витрати на токени до практичного нуля та забезпечуючи повний контроль над даними.

Визначення: Тернарна вага — це метод кодування ваг нейронної мережі, де кожен параметр може nabувати лише трьох значень: -1, 0 або +1, що зменшує pam’ять та обчислювальні витрати.

Для кого це і за яких умов

Для запуску Maple-Preview достатньо iPhone 15 Pro або новішого (6 GB RAM, A17 Pro чи аналогічний процесор) або Mac mini M4. Потрібна лише basic інсталяція з репозиторія, без IT-команди, час на впровадження — менше 30 хвилин. Масштаб: будь-яка команда з 1+ людини, особливо корисно для фрілансів та маленьких студій.

Альтернативи

ПродуктЦінаДе працюєМін. вимогиКлючова різниця
Phi-3-mini (Microsoft)безкоштовноiPhone/Android4 GB RAMменша кількість параметрів (3.8 B) та нижча точність у розумних тестах
Gemini Nano (Google)безкоштовно (через Android AICore)Pixel 8 і новішіTensor G3 чи вищеоптимізовано для мобільних засобів Google, але доступно лише на підтримуваних пристроях
Mistral Small 3 (Mistral AI)безкоштовно (Hugging Face)ноутбуки з 8 GB RAM або GPU 6 GB8 GB RAMбільша точність у загальних задачах, проте потребує вищих обчислювальних ресурсів

💬 Часті запитання

Чи можна використовувати Maple-Preview комерційно без ліцензії?

На даний момент модель випущена як попередній прев’ю без явної ліцензії на комерційне використання; для продакшену потрібно уточнити умови у авторів або чекати офіційного релізу.

Яка точність моделі на тестах MMLU?

У статті зазначено, що Maple-Preview перевершує Qwen3.5 35B на тестах розумного thinking, проте точні числа на MMLU не наведені; очікується, що через тернарну вагу точність може бути низькою на завданнях, що вимагають точного знання фактів.

Чи потрібен інтернет для роботи моделі на iPhone?

Ні, після завантаження ваг модель працює повністю офлайн, оскільки всі обчислення відбуваються локально на пристрої.

Яка енергоспоживання при запуску на iPhone?

Точні дані не публікуються, проте через низьку бітність ваг (тернарна) споживання значно нижче, ніж у повнозначних FP16 моделях, що дозволяє тривати години роботи на одному заряді.

Підтекст

За цим прев’ю стоїть тенденція до ekstremальної ефективності моделей через тернарні ваги та mieszanka експертів, що дозволяє зменшити обчислювальні вимоги без значної втрати якості. Це сигналізує про можливий зсув від хмарних API до локального розгортання AI, особливо для галузей з вимогами до конфіденційності даних. Якщо тенденція збереться, компанії зможуть скоротити витрати на інференс і уникнути проблем з передачею даних третім сторонам.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
Maple-PreviewternaryLLMMoEiPhoneAIon-deviceLLM

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me