Т-Банк створив метод донавчання мовних моделей без градієнтів
Дослідники Т-Банка представили метод ESSA для донавчання мовних моделей без обчислення градієнтів. Це дозволяє прискорювати навчання до 7,8 разів на великих кластерах GPU.
🔬 Дослідження без готового продукту. Для компаній до 200 людей тут нема дії: це академічний прототип, а не сервіс, який можна підписати або встановити сьогодні.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Метод ESSA донавчає мовні моделі без обчислення градієнтів
- •Змінюються лише параметри LoRA-адаптерів, а не вся модель
- •На 128 GPU прискорення досягає 7,8 разів порівняно з традиційними методами
- •Якість на математичних задачах порівняльна з GRPO при мільйонно меншої кількості параметрів
- •Дослідження представлені на конференції EMNLP рівня A*
Як це змінить ваш ринок?
Це дослідження може зменшити залежність бізнесу від великих обчислювальних кластерів для донавчання моделей. Якщо метод вийде з лабораторії в готові інструменти, компанії з обмеженими бюджетами на GPU зможуть адаптувати ШІ швидше та дешевіше. Наразі це лише прототип без комерційного релізу.
Визначення: LoRA-адаптери — це легкі модулі, які дозволяють донавчати великі мовні моделі, оновлюючи лише невелику частину параметрів, а не всю модель.
Для кого це і за яких умов
Наразі метод не є готовим продуктом для бізнесу. Потрібна команда ML-інженерів для реалізації та тестування. Для компаній до 200 людей без власної дослідницької групи це нічого не змінює.
Альтернативи
| Традиційне донавчання | GRPO | ESSA (дослідження) | |
|---|---|---|---|
| Ціна | Висока (повне оновлення параметрів) | Висока | Дані не розкриті |
| Де працює | Великі кластери GPU | Великі кластери GPU | Експериментальне середовище |
| Мін. вимоги | Багато GPU та пам'яті | Багато GPU та пам'яті | Менше обміну даними між GPU |
| Ключова різниця | Стандартний підхід | Оновлення цієї моделі | Еволюційний алгоритм без градієнтів |
💬 Часті запитання
Чи можна використати ESSA сьогодні?
Ні, це дослідницький метод без готового релізу або інсталятора.
Чи потрібні мені багато GPU для цього методу?
Метод зменшує обмін даними між GPU, але все ще вимагає обчислювальних ресурсів для роботи з мовними моделями.
Хто розробив цей метод?
Дослідники з Т-Банка.
Де опубліковано роботу?
На конференції EMNLP, міжнародній конференції рівня A* з обробки природної мови.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me