Janas: Запуск LLM, що більші за RAM, через потокове зчитування експертів з SSD

TL;DR

• •Janas — інструмент на чистому C для запуску LLM, що перевищують RAM
• •Використовує потокове зчитування експертів з SSD
• •Досягає 37 токенів/сек на ноутбуці 32 ГБ RAM для моделі 48 ГБ
• •Швидше за llama.cpp у тестах
• •Вихідний код доступний на GitHub без ліцензії у описі

Як це змінить ваш ринок?

Для більшості компаній це не змінить нічого. Janas — це технічний демонстратор, а не продукт. Він не вирішує бізнес-проблеми, таких як вартість inference, безпека або інтеграція. Компанії, які потребують стабільного LLM-inference, будуть і далі використовувати оптимізовані фреймворки типу llama.cpp або vLLM з підтримкою та документацією.

Визначення: Mixture of Experts (MoE) — архітектура LLM, де модель поділена на численні «експерти», а кожен токен обробляється лише підмножиною цих експертів, зменшуючи обчислювальні витрати.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Для розробників- ентузіастів: ноутбук з 32 ГБ RAM, SSD, навички роботи з C та терміналом, 1-2 години на збірку й тестування
• •Не потрібна IT-команда або бюджет
• •Масштаб: один користувач, експерименти
• •Час на впровадження: 1-2 дні (збірка, налаштування, тестування)

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 | з колонками: Ціна, Де працює, Мін. вимоги, Ключова різниця.

| | llama.cpp | vLLM | Janas | | Ціна | безкоштовно | безкоштовно | безкоштовно | | Де працює | CPU, GPU | GPU (NVIDIA) | CPU | | Мін. вимоги | 8 ГБ RAM | 24 ГБ VRAM | 32 ГБ RAM + SSD | | Ключова різниця | Узагальнений CPU-inference | Оптимізований GPU-inference з batching | Потокове зчитування MoE-експертів з SSD |