Внутрішня магія оптимізаторів та калібрувальні симетрії

TL;DR

• •Теоретично доведено зв'язок між калібровочною еквівариантністю оптимізатора та низкоранговою неявною регуляризацією.
• •Adam, через координатну адаптивність, знижує цю регуляризацію, що веде до вищерангових розв'язків у факторизованих моделях.
• •Оптимізатори GD, Muon та Shampoo зберігають симетрію та сприяють знаходженню простих низкорозв'язкових розв'язків.
• •Ефект особливо важливий для трансформерів з надлишковою факторизацією параметрів (наприклад, увага).
• •Практичний вигід вимагає впровадження калібруково-еквівариантних оптимізаторів у тренувальний пайплайн без змін даних або архітектури.

Як це змінить ваш ринок?

Компанії, що розробить моделі на основі трансформерів, зможуть покращити узагальнення без змін архітектури, просто замінивши оптимізатор на калібруково-еквівариантний. Це зменшить потребу у великих датасетах для тонкої налаштування та може знизити витрати на обчислення через більш ефективне знаходження розв'язку.

Визначення: Калібруково-еквівариантний оптимізатор — оптимізатор, оновлення якого invariant до ортогональних перетворень параметрів у факторизованих моделях, що зберігає низкоранговий неявний смещений бяз.

Для кого це і за яких умов

Для ML-команд, які використовують PyTorch або TensorFlow: потрібна здатність модифікувати оптимізатор у коді, без додаткових витрат на ліцензії або обладнання. Час впровадження — 1-2 дні для досвідчених інженерів, якщо вже є доступ до тренувального скрипту. Потребує розуміння математики оптимізації, але не спеціалізованої команди.

Альтернативи