NVIDIA випустила локальну мовну модель Dory 1.0 4B у форматі GGUF
NVIDIA випустила мовну модель Dory 1.0-4B з 4 млрд параметрів, контекстом 256К токенів та квантованням Q5_K_M у форматі GGUF. Модель доступна на Hugging Face для локального запуску.
🔬 Модель для експериментів, а не для продакшену. Для компаній на 10-50 людей це ще не інструмент, який можна впровадити сьогодні, але варто знати, що локальні 4B-моделі стають доступнішими.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Модель має 4 млрд параметрів
- •Контекстне вікно 256К токенів
- •Квантовання Q5_K_M
- •Доступна у форматі GGUF на Hugging Face
- •Архітектура зацикленої мовної моделі
Як це змінить ваш ринок?
Поява компактних моделей від великих вендорів зменшує залежність від платних API. Компанії з обмеженими бюджетами можуть розглядати локальний запуск для простих завдань без передачі даних третім сторонам.
Визначення: GGUF — формат файлу для ефективного запуску мовних моделей на локальному обладнанні, зокрема на процесорах та потребительських GPU.
Для кого це і за яких умов
Для компаній з власною IT-командою, які хочуть експериментувати з локальними моделями. Потрібне обладнання з достатньою кількістю пам'яті для 4B-моделі. Час на впровадження — кілька днів для технічного оцінювання.
Альтернативи
| Продукт 1 | Продукт 2 | Продукт 3 | |
|---|---|---|---|
| Ціна | безкоштовно | ціна не розкрита | ціна не розкрита |
| Де працює | локально | хмара | хмара |
| Мін. вимоги | GPU або процесор | браузер | браузер |
| Ключова різниця | власний запуск | готовий сервіс | готовий сервіс |
💬 Часті запитання
Чи можна використовувати модель у продакшені сьогодні?
Ні, це експериментальний реліз без підтримки та гарантій стабільності.
Яке обладнання потрібно для запуску?
Дані не розкриті, але для 4B-моделі потрібна достатня оперативна пам'ять та GPU або потужний процесор.
Де знайти модель?
На Hugging Face за посиланням у статті.
Підтекст
NVIDIA демонструє, що навіть великі чіпмейкери тепер випускають маленькі локальні моделі. Це сигнал про зміну акцентів з великих хмарних API на компактні моделі, які можна запускати на власному обладнанні.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me