NVIDIA випустила модель Dory 1.0 4B у форматі CMF для локального запуску
NVIDIA випустила модель Dory 1.0 4B у форматі CMF для движка cortiq на Rust. Модель видає 201 токен на секунду на RTX 3090 з контекстом 64k токенів.
🔬 Експериментальний інструмент. Для компаній на 10-50 людей без IT-команди це не робочий продукт, а демо для ентузіастів.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
• Модель Dory 1.0 4B має розмір 4 мільярдів параметрів. • Формат CMF працює з движком cortiq на мові Rust. • Швидкість генерації — 201 токен на секунду на карті RTX 3090. • Розмір контексту — 64 000 токенів. • Витрата пам'яті KV — 0,64 ГБ при 4 000 токенах.
Як це змінить ваш ринок?
Це експериментальний реліз, а не комерційний продукт. Для бізнесу на 10-50 людей це не змінює нічого, оскільки немає готового інсталятора, підтримки та ціни.
Визначення: CMF — формат упаковки моделі для швидкого запуску на конкретному движку.
Для кого це і за яких умов
Для розробників і ентузіастів з власним обладнанням. Потрібна GPU RTX 3090 або аналог, навички роботи з Rust і командним рядком. Мін. масштаб — будь-який, але без IT-спеціаліста впровадження неможливе. Час на розгортання — дані не розкриті.
Альтернативи
| Продукт 1 | Продукт 2 | Продукт 3 | |
|---|---|---|---|
| Ціна | дані не розкриті | дані не розкриті | дані не розкриті |
| Де працює | локально | локально | хмара |
| Мін. вимоги | GPU | GPU | браузер |
| Ключова різниця | формат CMF | дані не розкриті | дані не розкриті |
💬 Часті запитання
Чи можна використовувати це в продакшені?
Ні, це експериментальний реліз без підтримки та гарантій стабільності.
Чи потрібна потужна GPU?
Так, для комфортної роботи потрібна карта типу RTX 3090.
Де взяти модель?
На Hugging Face за посиланням із статті.
Чи є українська мова?
Дані не розкриті.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me