AI News
ДІЇ НЕМАНейтральнаImpact 4/10Research🏭 Виробництво і Промисловість

Виправлення числового бага в softmax підірвало теорію гроккінгу

Редакція AI NewsДжерело: Dealer.AIОпубліковано Оновлено
Dealer.AI•6 днів тому•8 переглядів•

Дослідники виявили числові баги в реалізаціях softmax і cross-entropy у PyTorch, JAX і TensorFlow. Це впливає на дистилляцію, навчання в bf16, RLHF та явище гроккінгу.

ВердиктНейтральнаImpact 4/10

🔬 Дослідження про баг. Для компаній на 10-50 людей без власної ML-команди це нічого не змінює: це числова корегування для фреймворків, а не готовий продукт.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •Баги Softmax Collapse і Softmax Cancellation знайдено в PyTorch, JAX, TensorFlow
  • •Вплив на дистилляцію, навчання в bf16, RLHF та гроккінг
  • •Виправлення не впливає на якість GPT-6, Claude, Gemini при претренуванні
  • •Це числова корегування, а не нова архітектура
  • •Для 90% стандартного навчання змін майже немає

Як це змінить ваш ринок?

Компанії, що роблять дистилляцію моделей, можуть отримати стабільніші градієнти після виправлення. Для тих, хто навчає в bf16, баг був постійною проблемою точности. Для звичайного бізнесу без власної ML-команди це нічого не змінює.

Визначення: Softmax — функція, яка перетворює логити в ймовірності, сума яких дорівнює одиниці.

Для кого це і за яких умов

Для компаній з власною ML-командою, які роблять дистилляцію або навчають в bf16. Потрібні інженери машинного навчання. Мін. масштаб — середнє підприємство з даними. Час на впровадження — оновлення фреймворків.

Альтернативи

Продукт 1Продукт 2Продукт 3
Цінадані не розкритідані не розкритідані не розкриті
Де працюєфреймворки MLфреймворки MLфреймворки ML
Мін. вимогиML-командаML-командаML-команда
Ключова різницячисловий багчисловий багчисловий баг

💬 Часті запитання

Чи стосується це звичайного користувача ChatGPT?

Ні, це стосується розробників, які навчають моделі в фреймворках.

Чи потрібно оновлювати щось зараз?

Тільки якщо ви робите дистилляцію або навчання в bf16.

Чи це новий тип моделі?

Ні, це виправлення числових помилок в існуючих реалізаціях.

Підтекст

Інша сторона медали — це підкоп під теорію гроккінгу. Якщо слингшоти були артефактом бага, то багато статей про «магічний фазовий перехід» потребують перевірки. Для бізнесу це сигнал, що навіть базові операції в ШІ можуть містити приховані числові помилки.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
softmaxcross-entropynumericalbuggrokkingdistillationbf16RLHFdeeplearning

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me