Мультимодальна модель Ornith 35B на DGX Spark: 70+ токенів на секунду
Опубліковано рецепт vLLM для запуску мультимодальної моделі Ornith 1.5 35B з MTP на DGX Spark. Це дає 70+ токенів на секунду в одному потоці та близько 400 у 16 потоках.
🔬 Для ентузіастів, а не для бізнесу. Це експериментальний рецепт запуску моделі, а не готовий продукт, який компанія на 10-50 людей може впровадити.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •
Модель: Abliterated Ornith 1.5 35B мультимодальна
- •
Апаратне забезпечення: DGX Spark (Blackwell+)
- •
Продуктивність: 70+ токенів на секунду в одному потоці, близько 400 у 16 потоках
- •
Джерело: репозиторій на Hugging Face від користувача jnjn
- •
Ліцензія та ціна: дані не розкриті
Як це змінить ваш ринок?
Це експериментальний рецепт для запуску великої мультимодальної моделі на спеціалізованому обладнанні. Для компаній без власної команди ML-інженерів це не змінює нічого в робочих процесах.
Визначення: MTP (Multi-Token Prediction) — технологія, яка дозволяє моделі передбачати кілька токенів одночасно для прискорення генерації.
Для кого це і за яких умов
Потрібне обладнання: DGX Spark (Blackwell+), що є дорогим корпоративним пристроєм. Потрібна команда: так, інженер з досвідом роботи з vLLM та GPU. Мін. масштаб: ENTERPRISE_1000. Час на впровадження: дні або тижні роботи інженера.
Альтернативи
| Продукт 1 | Продукт 2 | Продукт 3 | |
|---|---|---|---|
| Ціна | дані не розкриті | дані не розкриті | дані не розкриті |
| Де працює | DGX Spark | дані не розкриті | дані не розкриті |
| Мін. вимоги | DGX Spark | дані не розкриті | дані не розкриті |
| Ключова різниця | експериментальний рецепт | дані не розкриті | дані не розкриті |
💬 Часті запитання
Чи може малий бізнес використовувати цю модель?
Ні, бо це вимагає спеціалізованого обладнання DGX Spark та технічних знань для налаштування vLLM.
Чи є це готовий продукт для продакшену?
Ні, це експериментальний рецепт, а не стабільний сервіс з підтримкою.
Де знайти модель?
На Hugging Face за посиланням з статті.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me