AI News
ДІЇ НЕМАНейтральнаImpact 3/10BetaEnterprise

Мультимодальна модель Ornith 35B на DGX Spark: 70+ токенів на секунду

Редакція AI NewsДжерело: Shir-man Daily TopОпубліковано Оновлено
Shir-man Daily Top•12 днів тому•1 перегляд•

Опубліковано рецепт vLLM для запуску мультимодальної моделі Ornith 1.5 35B з MTP на DGX Spark. Це дає 70+ токенів на секунду в одному потоці та близько 400 у 16 потоках.

ВердиктНейтральнаImpact 3/10

🔬 Для ентузіастів, а не для бізнесу. Це експериментальний рецепт запуску моделі, а не готовий продукт, який компанія на 10-50 людей може впровадити.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •

    Модель: Abliterated Ornith 1.5 35B мультимодальна

  • •

    Апаратне забезпечення: DGX Spark (Blackwell+)

  • •

    Продуктивність: 70+ токенів на секунду в одному потоці, близько 400 у 16 потоках

  • •

    Джерело: репозиторій на Hugging Face від користувача jnjn

  • •

    Ліцензія та ціна: дані не розкриті


Як це змінить ваш ринок?

Це експериментальний рецепт для запуску великої мультимодальної моделі на спеціалізованому обладнанні. Для компаній без власної команди ML-інженерів це не змінює нічого в робочих процесах.


Визначення: MTP (Multi-Token Prediction) — технологія, яка дозволяє моделі передбачати кілька токенів одночасно для прискорення генерації.


Для кого це і за яких умов

Потрібне обладнання: DGX Spark (Blackwell+), що є дорогим корпоративним пристроєм. Потрібна команда: так, інженер з досвідом роботи з vLLM та GPU. Мін. масштаб: ENTERPRISE_1000. Час на впровадження: дні або тижні роботи інженера.


Альтернативи

Продукт 1Продукт 2Продукт 3
Цінадані не розкритідані не розкритідані не розкриті
Де працюєDGX Sparkдані не розкритідані не розкриті
Мін. вимогиDGX Sparkдані не розкритідані не розкриті
Ключова різницяекспериментальний рецептдані не розкритідані не розкриті

💬 Часті запитання

Чи може малий бізнес використовувати цю модель?

Ні, бо це вимагає спеціалізованого обладнання DGX Spark та технічних знань для налаштування vLLM.

Чи є це готовий продукт для продакшену?

Ні, це експериментальний рецепт, а не стабільний сервіс з підтримкою.

Де знайти модель?

На Hugging Face за посиланням з статті.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
LLMmultimodalvLLMDGXSparkBlackwellMTP

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me