AI News
ДІЇ НЕМАНейтральнаImpact 4/10Research

Виправлення помилок округлення у функціях softmax і кросс-ентропії

Редакція AI NewsДжерело: gonzo-обзоры ML статейОпубліковано Оновлено
gonzo-обзоры ML статей•24 днi тому•0 переглядів•

Дослідники виявили помилки округлення у поширених реалізаціях softmax і cross-entropy. Пропонований перепис у логарифмічному просторі виправляє проблеми Softmax Collapse (занулення градієнта цільового логіту при високій впевненості моделі) та Softmax Cancellation (ненульовий остаточний градієнт при дистилляції, коли логіти студента вже збіглися з логітами вчителя).

ВердиктНейтральнаImpact 4/10

🔬 Дослідний прототип. Для компаній без власної ML-команди тут нема дії: це академічний пейпер, а не готовий продукт для впровадження.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

• Дослідники виявили дві помилки округлення у реалізаціях softmax і кросс-ентропії.

• Помилки назвали Softmax Collapse і Softmax Cancellation.

• Пропоновано перепис функцій у логарифмічному просторі як Fixed Cross-Entropy.

• Експерименти проведено на задачах модулярної арифметики (a + b mod 31, a² + b² mod 97).

• Код надано у вигляді самодостатніх фрагментів JAX.


Як це змінить ваш ринок?

Для більшості компаній це нічого не змінює. Стаття описує академічне дослідження, а не комерційний продукт. Якщо ваша команда не пише власну бібліотеку для глибокого навчання, ви не зможете використати це виправлення без інженерної роботи.


Визначення: Softmax — функція активації, яка перетворює вектор чисел на ймовірності, сума яких дорівнює одиниці. Кросс-ентропія — функція втрат, яка вимірює різницю між передбаченими ймовірностями та справжніми мітками.


Для кого це і за яких умов

Це актуально для компаній з власною ML-командою, які розробляють власні фреймворки глибокого навчання. Для компаній на 10-50 людей без розробників моделей це нічого не змінює. Мін. вимоги: досвід роботи з PyTorch, TensorFlow або JAX, знання числових методів.


Альтернативи

Стандартна кросс-ентропіяStableMaxZero-sum Projection
Цінабезкоштовнобезкоштовнобезкоштовно
Де працюєусі фреймворкизаміна softmaxвирахування градієнтів
Мін. вимогибудь-який фреймворккусочно-раціональна замінавирахування градієнтів
Ключова різницямає помилки округленнястабільніша заміна softmaxвирахування середнього з градієнтів

💬 Часті запитання

Чи можна використати це зараз?

Ні, якщо ви не розробляєте власний фреймворк. Код надано лише як фрагменти JAX у статті.

Чи стосується це всіх моделей ШІ?

Ті, що використовують softmax і кросс-ентропію, але вплив на великі моделі не перевірявся.

Чи виправили це вже у PyTorch чи TensorFlow?

У статті це не зазначено; дані не розкриті.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
softmaxcross-entropydeeplearningroundingbugsJAX

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me