KAT-Coder-V2.5-Dev-OptiQ-4bit-REAP-18B: 18,3 млрд параметрів 4-бітової квантованої моделі

TL;DR

• •Модель KAT-Coder-V2.5-Dev-OptiQ-4bit-REAP-18B має 18,3 млрд параметрів
• •Розмір зменшено до 11,4 ГБ завдяки 4-бітової квантизації та REAP-прунінгу
• •Zachovює 8 активних експертів на токен та KL-розбіжність 0,213
• •Доступна на huggingface.co/mlx-community/KAT-Coder-V2.5-Dev-OptiQ-4bit-REAP-18B
• •Ліцензія та умови використання не вказані у джерелі

Як це змінить ваш ринок?

Для промисловості та IT-компаній цей реліз сигналізує прогрес у техніках стиснення великих моделей, що може знизити вартість інференсу в майбутньО. Проте без готового продукту, підтримки чи ліцензії — це ще не інструмент для прийняття рішень сьогодні.

Визначення:

REAP-прунінг — метод скорочення нейромереж шляхом видалення менш важливих нейронів на основі аналізу їх впливу на вихід, що зберігає продуктивність при зменшенні розміру.

Для кого це і за яких умов

Для IT-отділів компаній з 50+ співробітників, які досліджують локальне розгортання LLM: потрібна GPU з 12GB+ пам’яті, навички роботи з Hugging Face та розуміння ризиків використання моделей без jasnoї ліцензії. Час на оцінку — 1-2 дні.

Альтернативи

| | Qwen2.5-Coder-7B-Instruct | DeepSeek-Coder-V2 | Phi-3-mini | | Ціна | безкоштовно (Apache 2.0) | безкоштовно (MIT) | безкоштовно (MIT) | | Де працює | Hugging Face, локально | Hugging Face, локально | Hugging Face, локально | | Мін. вимоги | 8GB RAM для 7B | 16GB RAM для 24B | 4GB RAM для 3.8B | | Ключова різниця | Зрозуміла ліцензія, готові інструкції | Сильний у reasoning, відкриті ваги | Оптимізований для мобільних та edge |