Нова квантована модель Gemma-4-12B-it з підтримкою NVFP4 та FP8
Опубліковано модель Gemma-4-12B-it з сумішним квантуванням NVFP4 та FP8 об'ємом 9,3 ГБ. Вона працює на Blackwell GPU через vLLM 0.23.0+ з швидкістю 21 токен на секунду.
🔬 Експериментальний інструмент. Для компаній без власного ML-інженера та Blackwell GPU це не робочий варіант, а технічний демо.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •
Модель Gemma-4-12B-it-AEON-Abliterated-K4-NVFP4-FP8 має розмір 9,3 ГБ.
- •
Використовується сумішне квантування NVFP4 для MLP та FP8 для блоку уваги.
- •
Швидкість роботи становить 21 токен на секунду в однопотоковому режимі.
- •
Потрібне обладнання Blackwell GPU та версія vLLM 0.23.0 або вища.
- •
Модель є «abliterated», тобто без вбудованих механізмів безпеки та цenzори.
Як це змінить ваш ринок?
Цей реліз демонструє тенденцію до стиснення великих мовних моделей для спеціалізованих GPU. Для компаній без власного відділу ML це не змінює нічого в операційній діяльності, але сигналізує про зменшення вимог до обладнання для запуску локальних ШІ.
Для кого це і за яких умов
Потрібне обладнання: Blackwell GPU. Бюджет: вищий за середній для SMB. Потрібна команда: так, ML-інженер або розробник з досвідом роботи з vLLM. Мін. масштаб: компанія з технічним відділом. Час на впровадження: кілька днів на налаштування та тестування.
Альтернативи
| Продукт 1 | Продукт 2 | Продукт 3 | |
|---|---|---|---|
| Ціна | дані не розкриті | дані не розкриті | дані не розкриті |
| Де працює | Blackwell GPU | інші GPU | хмара |
| Мін. вимоги | vLLM 0.23.0+ | залежить від моделі | інтернет |
| Ключова різниця | сумішне квантування NVFP4/FP8 | стандартне квантування | готове API |
💬 Часті запитання
Чи підходить ця модель для малого бізнесу?
Ні, через потребу в спеціалізованому обладнанні Blackwell GPU та технічних навичках для налаштування vLLM.
Що означає «abliterated»?
Це модель, з якої видалені механізми безпеки та цenzори, що робить її небезпечною для корпоративних завдань.
Чи можна використовувати модель без власного сервера?
Ні, для роботи потрібне власне обладнання Blackwell GPU та встановлене vLLM 0.23.0+.
Підтекст
Це реліз для ентузіастів і розробників, які хочуть максимально стиснути модель для спеціального обладнання. Для бізнесу це сигнал про напрямок квантування, а не готовий продукт до використання.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me