Виправлення числового бага в softmax підірвало теорію гроккінгу
Дослідники виявили числові баги в реалізаціях softmax і cross-entropy у PyTorch, JAX і TensorFlow. Це впливає на дистилляцію, навчання в bf16, RLHF та явище гроккінгу.
🔬 Дослідження про баг. Для компаній на 10-50 людей без власної ML-команди це нічого не змінює: це числова корегування для фреймворків, а не готовий продукт.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Баги Softmax Collapse і Softmax Cancellation знайдено в PyTorch, JAX, TensorFlow
- •Вплив на дистилляцію, навчання в bf16, RLHF та гроккінг
- •Виправлення не впливає на якість GPT-6, Claude, Gemini при претренуванні
- •Це числова корегування, а не нова архітектура
- •Для 90% стандартного навчання змін майже немає
Як це змінить ваш ринок?
Компанії, що роблять дистилляцію моделей, можуть отримати стабільніші градієнти після виправлення. Для тих, хто навчає в bf16, баг був постійною проблемою точности. Для звичайного бізнесу без власної ML-команди це нічого не змінює.
Визначення: Softmax — функція, яка перетворює логити в ймовірності, сума яких дорівнює одиниці.
Для кого це і за яких умов
Для компаній з власною ML-командою, які роблять дистилляцію або навчають в bf16. Потрібні інженери машинного навчання. Мін. масштаб — середнє підприємство з даними. Час на впровадження — оновлення фреймворків.
Альтернативи
| Продукт 1 | Продукт 2 | Продукт 3 | |
|---|---|---|---|
| Ціна | дані не розкриті | дані не розкриті | дані не розкриті |
| Де працює | фреймворки ML | фреймворки ML | фреймворки ML |
| Мін. вимоги | ML-команда | ML-команда | ML-команда |
| Ключова різниця | числовий баг | числовий баг | числовий баг |
💬 Часті запитання
Чи стосується це звичайного користувача ChatGPT?
Ні, це стосується розробників, які навчають моделі в фреймворках.
Чи потрібно оновлювати щось зараз?
Тільки якщо ви робите дистилляцію або навчання в bf16.
Чи це новий тип моделі?
Ні, це виправлення числових помилок в існуючих реалізаціях.
Підтекст
Інша сторона медали — це підкоп під теорію гроккінгу. Якщо слингшоти були артефактом бага, то багато статей про «магічний фазовий перехід» потребують перевірки. Для бізнесу це сигнал, що навіть базові операції в ШІ можуть містити приховані числові помилки.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Dealer.AI — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me