Привіт!
Розробник Андрей представив open‑source інференс движок TurboFieldfare для Gemma 4 26B‑A4B 4‑bit. Движок працює на будь‑якому MacBook з M‑процесором, споживаючи 2 ГБ ОЗУ та забезпечуючи 4‑35 токен/сек.
🚀 Швидкий локальний движок. Для розробників та малого бізнесу, хто хоче запускати Gemma на MacBook без додаткового GPU.
Ключові тези
- TurboFieldfare — це open‑source движок інференсу (ліцензія Apache 2.0) для Gemma 4 26B‑A4B 4‑bit.
- Запускається на будь‑якому MacBook з M‑процесором, споживаючи лише 2 ГБ ОЗУ при розмірі моделі 14 ГБ.
- Швидкість: 4‑5 токен/сек на M1 Air, до 31‑35 токен/сек на M5 MacBook Pro.
Що це означає для вас
Оцініть можливість заміни хмарного API на локальний запуск TurboFieldfare для зменшення витрат і підвищення конфіденційності даних.
🕐 Запустіть бенчмарк на своєму MacBook M1/M2/M4/M5, вимірявши швидкість генерації токенів та порівнюючи її з поточним провайдером (15 хв)
📊 З новини: 2 ГБ ОЗУ🛠 Інструмент: TurboFieldfare
Пропустіть, якщо: якщо ваша команда не використовує MacBook або не потребує локального запуску LLM
Спробуйте встановити TurboFieldfare та запустити Gemma 4 на MacBook, слідуючи інструкціями з репозиторію.
🕐 Склонуйте репозиторій з GitHub, встановити залежності та запустіть інсталяційний скрипт (10 хв)
📊 З новини: 4-5 tok/s на M1 Air🛠 Інструмент: TurboFieldfare
Пропустіть, якщо: якщо у вас немає MacBook з M-процесором або ви не хочете завантажувати ваги з Hugging Face
Як локальний запуск LLM на MacBook може зменувати ваші витрати на хмарні сервіси і підвищити конфіденційність даних?
Отримати карту AI-можливостей →🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секунд🔒 Підтекст (Insider)
TurboFieldfare показує, як оптимізація на рівні Metal і стримінг ваг з SSD дозволяють зменшити пам’ятьovou нагрузку до 2 ГБ, що робить великі моделі доступними на ноутбуках. Це зменшує залежність від хмарних API та покращує конфіденційність даних для компаній, які працюють з чутливою інформацією.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live