Я протестував нову 35b MoE модель Ornith на Mac — ось результати

TL;DR

• •Розмір моделі: 35 млрд параметрів з Mixture-of-Experts архітектурою
• •Тестування проведено на MacBook Pro з 16 ГБ ОЗУ без зовнішнього GPU
• •Модель Ornith наразі не має публічного комерційного доступу, доступна лише для дослідження
• •Ліцензія не розкрита у публічних джерелах
• •Тестування показало можливість запуску інференсу на CPU зacceptable latency для простих запитів

Як це змінить ваш ринок?

Поява доступних великих MoE-моделей для локального запуску зменшує бар’єр входження для компаній, які потребують обробки конфіденційних даних без передачі їх третім сторонам. Фінансові установи, юридичні фірми та охорона здоров’я можуть тепер розглядати власні інференс-сервери, що зменшує залежність від дорогих хмарних провайдерів та покращує відповідність вимогам GDPR та інших регуляторів. Однак для досягнення конкурентоспроможної продуктивності потрібне відповідне залізо, що може збільшити початкові капітальні витрати.

Крім того, локальний доступ до такої моделі сприяє інноваціям у стартапах та дослідних групах, які тепер можуть експериментувати з передовими техніками без значних витрат на хмарні ресурси. Це також стимулює розвиток екосистемы інструментів для оптимізації та квантування великих моделей на потреби edge‑девайсів.

Визначення: Mixture-of-Experts (MoE) — архітектура нейронної мережі, де лише частина параметрів активується для кожного токену, зменшуючи обчислювані витрати при збереженні високої пропускної здатності. Це дозволяє створювати моделі з сотнями мільярдів параметрів, які працюють ефективніше за густі аналогі аналогічного розміру.

Для кого це і за яких умов

Для локального запуску 35B MoE моделі достатньо MacBook з 32 ГБ ОЗУ або зовнішнього GPU з 24 ГБ VRAM; спеціалізована IT-команда не обов’язкова, а перший запуск тесту займає від 30 хвилин до 2 годин залежно від конфігурації. Якщо планується використання в продакшені для обробки реального потоку запитів, рекомендується мати dédié сервер з мінімум двома GPU 24 ГБ або еквівалентну хмарну інстансу, а також адміністратора для моніторингу та оновлень. Час на впровадження у середній бізнес-канал оцінюється в 1-2 тижні, включаючи інтеграцію з существуючими системами та тестування на навантаженні.

Для менших команд або індивідуальних розробників достатньо ноутбука з 32 ГБ ОЗУ, що дозволяє проводити прототипування та тестування гіпотез без потреби у зовнішньому обладнанні. При цьому важливо враховувати, що інтенсивне використання може призвести до термічного throttling, тому рекомендується використовувати охолоджувальні підставки або зовнішні блоки живлення для стабільної роботи.

Альтернативи