Quartet II: 4-бітна пре-тренування LLM без втрати якості — прорив для NVIDIA Blackwell
IST DASLab представила Quartet II, алгоритм для 4-бітної пре-тренування LLM, що зберігає якість BF16. Це досягається завдяки квантизації MS-EDEN та підтримці NVFP4 на NVIDIA Blackwell, прискорюючи навчання в 4.2 рази.
🚀 Потенційний прорив. Якщо масштабується на великі моделі, здешевить навчання LLM в 4 рази для власників Blackwell.
🟢 МОЖЛИВОСТІ
- Зменшення витрат на навчання великих LLM в 4 рази при наявності NVIDIA Blackwell
- Можливість тренувати моделі з більшою точністю на 4-бітному форматі
- Відкритий код (Apache 2.0) для кастомізації та інтеграції
🔴 ЗАГРОЗИ
- Залежність від NVIDIA Blackwell та підтримки NVFP4
- Необхідність IT-команди для розгортання та інтеграції MS-EDEN
- Обмежена перевірка до 1.9B параметрів — ризик при масштабуванні
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Новий алгоритм квантизації MS-EDEN для 4-бітної пре-тренування LLM.
- •Підтримка NVFP4 на NVIDIA Blackwell.
- •Прискорення до 4.2x проти BF16.
- •Перевірено на моделях до 1.9B параметрів, 38B токенів.
- •Код відкритий: github.com/IST-DASLab/Quartet-II
Як це змінить ваш ринок?
Для фінансових установ з великими обсягами даних, які потребують локального навчання LLM, це знімає блокер високої вартості обчислень.
Квантизація — техніка зменшення розміру моделі та прискорення обчислень шляхом зниження точності представлення чисел.
Для кого це і за яких умов
Для компаній з NVIDIA Blackwell кластерами та IT-командою. Розгортання MS-EDEN потребує досвіду в ML-інфраструктурі. Окупність від MID_200.
Альтернативи
| Quartet II (MS-EDEN) | Стохастичне округлення (SR) | FP16/BF16 | |
|---|---|---|---|
| Ціна | безкоштовно | безкоштовно | ~$1/год |
| Де працює | NVIDIA Blackwell | Будь-яке залізо | Будь-яке залізо |
| Мін. вимоги | Blackwell, IT-команда | Будь-яке залізо | Будь-яке залізо |
| Ключова різниця | Менша похибка | Вища похибка | Вища точність, але повільніше |
💬 Часті запитання
🔒 Підтекст (Insider)
NVIDIA хоче нав'язати NVFP4 як стандарт. MS-EDEN — спосіб обійти обмеження формату і зберегти точність.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
e/acc chat — оригіналНавчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live