Кремнієвий Apple та macOS VM: 11–16× прискорення інференсу LLM за допомогою Llama.cpp

TL;DR

• •Прискорення 11–16× у порівнянні з базовою конфігурацією Llama.cpp у macOS VM.
• •Достигнуто 98–99% швидкості bare-metal на M1 Ultra з моделлю Gemma 4 12B.
• •Використовується новий шлях Metal через патч у репозиторії github.com/trycua/cua.
• •Ліцензія проєкта Llama.cpp — Apache 2.0, сумісна з комерційним використанням.
• •Потребна macOS 14+ з підтримкою Metal 3 та Apple Silicon M1 або новіший.

Як це змінить ваш ринок?

Медіакомпанії зможуть генерувати текстові та мультимедийні матеріали локально на Mac, зменшуючи витрати на хмарні API і забезпечуючи конфіденційність даних. Це також знижує затримки у реальному часі для чат-ботів та інтерактивних додатків. Крім того, локальне розміщення моделей зменшує залежність від зовнішніх провайдерів, що покращує стабільність роботи у випадках виходу хмарних сервісів з ладу.

Визначення: Llama.cpp — це бібліотека з відкритим кодом для ефективного запуску великих мовних моделей на ЦПУ та GPU за допомогою квантування та оптимізації. Вона підтримує різні типи квантування (q4_0, q5_1 тощо) і може працювати як на процесорі, так і на інтегрованому або дискретному GPU.

Для кого це і за яких умов

7B модель: MacBook з 16 ГБ ОЗУ, без IT-команди, 30 хв на встановлення. 12B Gemma 4: Mac Studio або M1 Ultra, 32 ГБ ОЗУ, 1 год. Для 27B+ потрібен дискретний GPU або хмарний інстанс ~$0,5/год, фахівець DevOps, 1–2 дні. Енергоспоживання при запуску 12B моделі на M1 Ultra становить близько 15 Вт, що значно нижче за дискретний GPU.

Альтернативи