AI News
ДІЇ НЕМАПозитивнаImpact 5/10Research🏦 Фінанси і Банкінг

Т-Банк створив метод донавчання мовних моделей без градієнтів

Редакція AI NewsДжерело: Метаверсище и ИИщеОпубліковано Оновлено
Метаверсище и ИИще•21 день тому•2 перегляди•

Дослідники Т-Банка представили метод ESSA для донавчання мовних моделей без обчислення градієнтів. Це дозволяє прискорювати навчання до 7,8 разів на великих кластерах GPU.

ВердиктПозитивнаImpact 5/10

🔬 Дослідження без готового продукту. Для компаній до 200 людей тут нема дії: це академічний прототип, а не сервіс, який можна підписати або встановити сьогодні.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •Метод ESSA донавчає мовні моделі без обчислення градієнтів
  • •Змінюються лише параметри LoRA-адаптерів, а не вся модель
  • •На 128 GPU прискорення досягає 7,8 разів порівняно з традиційними методами
  • •Якість на математичних задачах порівняльна з GRPO при мільйонно меншої кількості параметрів
  • •Дослідження представлені на конференції EMNLP рівня A*

Як це змінить ваш ринок?

Це дослідження може зменшити залежність бізнесу від великих обчислювальних кластерів для донавчання моделей. Якщо метод вийде з лабораторії в готові інструменти, компанії з обмеженими бюджетами на GPU зможуть адаптувати ШІ швидше та дешевіше. Наразі це лише прототип без комерційного релізу.

Визначення: LoRA-адаптери — це легкі модулі, які дозволяють донавчати великі мовні моделі, оновлюючи лише невелику частину параметрів, а не всю модель.

Для кого це і за яких умов

Наразі метод не є готовим продуктом для бізнесу. Потрібна команда ML-інженерів для реалізації та тестування. Для компаній до 200 людей без власної дослідницької групи це нічого не змінює.

Альтернативи

Традиційне донавчанняGRPOESSA (дослідження)
ЦінаВисока (повне оновлення параметрів)ВисокаДані не розкриті
Де працюєВеликі кластери GPUВеликі кластери GPUЕкспериментальне середовище
Мін. вимогиБагато GPU та пам'ятіБагато GPU та пам'ятіМенше обміну даними між GPU
Ключова різницяСтандартний підхідОновлення цієї моделіЕволюційний алгоритм без градієнтів

💬 Часті запитання

Чи можна використати ESSA сьогодні?

Ні, це дослідницький метод без готового релізу або інсталятора.

Чи потрібні мені багато GPU для цього методу?

Метод зменшує обмін даними між GPU, але все ще вимагає обчислювальних ресурсів для роботи з мовними моделями.

Хто розробив цей метод?

Дослідники з Т-Банка.

Де опубліковано роботу?

На конференції EMNLP, міжнародній конференції рівня A* з обробки природної мови.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
LLMfine-tuningESSALoRAT-Bankgradient-freeoptimizationEMNLP

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me