Quantization from the Ground Up

Сем Роуз опублікував інтерактивне есе, що пояснює техніки квантування для великих мовних моделей, акцентуючи на важливості викидів та показуючи мінімальну втрату точності при квантуванні з 16-біт до 8-біт. Стаття включає візуальні пояснення представлення чисел з плаваючою комою та демонструє ефекти квантування за допомогою метрик перплексії та бенчмарків GPQA. Висновок: 4-бітне квантування зберігає близько 90% якості оригінальної моделі.