Чи можуть зациклені трансформери бути корисними, коли FLOPs, параметри та KV-кеш сумісні?

TL;DR

• •Bytedance представив SMELT: закон масштабування для MoE Looped Transformers з обчислений-сумісними FLOPs, параметрами та KV-кешем.
• •Дослідження довело, що зациклені трансформери зберігають перевагу навіть при рівних обчислювальних ресурсах.
• •Ефект переваги зростає пропорційно збільшенню масштабу моделі (від billions до tens of billions параметрів).
• •Публікація не включає готових ваг, коду або інструкції по розгортання.
• •Сфокусована на теоретичних межах ефективності архітектур трансформерів.

Як це змінить ваш ринок?

Компанії у медіа та маркетингу, які використовують великі AI-моделі для генерації контенту, стикаються з високими витратами на інференс. SMELT вказує, що зациклені трансформери можуть досягати тієї ж якості при меншій обчислювальній навантаженості, що зменшує витрати на хмарні ресурси або дозволяє обробляти більше запитів на тому ж обладнанні.

Це може змінити баланс сил у пільгу тих, хто зможе впровадити таку архітектуру у своїх сервісах, особливо в сегментах, де важлива швидкість та вартість обробки даних у реальному часі.

Визначення:

Looped Transformer — варіант архітектури трансформера, у якому блоки самов уваги та feed-forward повторюються в циклі всередині одного шару, що дозволяє збільшити ефективну глибину без збільшення кількості параметрів. Така структура може краще використовувати обчислювальну потужність, зменшуючи надмірні операції при збереженні виразної здатності моделі.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження).

Для дослідження SMELT не потрібне жодного спеціалістого обладнання, оскільки це чисто теоретичний результат. Однак для практичного впровадження зацикленого трансформера потрібен доступ до тренованої MoE-моделі з можливістю змінювати структуру шарів, що вимагає команди ML-інженерів та GPU-кластера з принаймні 24 GB пам’яті на карту.

Мінімальний масштаб — компанії з AI-командою від 5 осіб і бюджетом на тренування від $10 000. Час на адаптацію архітектури — від 2 до 4 тижнів залежно від досвіду команди та наявності готових інструментів для модифікації шарів.

Альтернативи