Agens-Volundr-32B-Preview-GGUF: нові GGUF-файли для локального запуску 32B-моделі з підтримкою інструментів
Випущені нові GGUF-квантизації (Q4_K_M, Q8_0, BF16) моделі Agens Volundr 32B Preview. Вони вимагають гілки volundr у llama.cpp та підтримують виклики інструментів сумісних з OpenAI, режим думання та контекст 32K токенів.
🔬 Цікаво для експериментів. Модель велика, вимагає спеціалізованої гілки llama.cpp — для тих, хто тестує локальні LLM з інструментами і має ресурси для 32B.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Модель: Agens Volundr 32B Preview
- •Формат: GGUF (Q4_K_M, Q8_0, BF16)
- •Вимоги: гілка volundr у llama.cpp
- •Можливості: tool calls, thinking, 32K контекст
- •Ліцензія: дані не розкриті
Як це змінить ваш ринок?
Для компаній, які вже експеріментують з локальними LLM, ця модель додає варіант з великим контекстом і підтримкою інструментів. Однак через залежність від нестандартної гілки llama.cpp, інтеграція вимагає додаткових зусиль. Це може сповільнити прийняття у порівнянні з моделями, що працюють на основних гілках.
Визначення:
GGUF — формат файлів для ефективного зберігання та завантаження великих мовних моделей, оптимізований для використання з llama.cpp.
Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.
- •32B Q4_K_M: ~20 GB RAM, GPU з 24GB+ для комфортного використання, без IT-команди можливо при експерементах, 1-2 дні на налаштування
- •Для продуктивного використання: потрібна IT-спеціаліст для інтеграції з volundr-гілкою, тестування стабільності
Альтернативи (ТАБЛИЦЯ:
| Продукт | Ціна | Де працює | Мін. вимоги | Ключова різниця |
|---|---|---|---|---|
| Agens Volundr 32B Preview | дані не розкриті | llama.cpp (volundr гілка) | GPU 24GB+, 20GB RAM | 32K контекст, tool calls у GGUF |
| Llama 3 8B Instruct | безкоштовно | llama.cpp (основна гілка) | GPU 8GB+, 5GB RAM | популярна, стабільна, менший контекст |
| Mistral 7B v0.3 | безкоштовно | llama.cpp, vLLM | GPU 6GB+, 4GB RAM | збалансована якість і розмір |
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live