Трансформери важко узагальнюють завдання, на яких вони не навчались прямо.

TL;DR

• •Дослідження опубліковано 21 липня 2026 р. у спеціалізованому онлайн‑виданні «All about AI, Web 3.0, BCI» і присвячено аналізу обмежень узагальненості трансформерів.
• •Експериментально продемонстровано, що стандартні трансформери (наприклад, 7B‑параметри) погано переносять навчені знання на нові завдання, на яких не навчались прямо, показуючи spadок точності до 38% на тестах з композиційним розумінням.
• •Пропонований механізм «харнес» будує квільт над траєкторіями викликів LLM, перетворюючи послідовність запитів на структурно інваріантну представлення, що дозволяє моделям бачити схожість навіть при різному поверхневому вводі.
• •В тестах на наборі задач «Compositional Generalization Benchmark» використання харнесу підвищило точність 7B‑модели з 38% до 60%, що порівняно з 13B‑базовою моделлю (55%) дає перевагу без збільшення розміру моделі.
• •Всі результати отримано на відкритому наборі даних та коді, доступному під ліцензією MIT, що дозволяє легко інтегрувати техніку в існуючі pipelines без змін у вагах моделі.

Як це змінить ваш ринок?

Для компаній, які активно використовують LLM у обслуговуванні клієнтів, аналізі документів або генерації контенту, харнес пропонує економічний шлях до покращення узагальненості без потреби у дорогостоящій донавчання або переході на більші моделі. Це зменшує затрати на обчислювальні ресурси, оскільки та ж продуктивність може бути досягнута з меншими моделями, а також скорочує час виведення нових AI‑функцій на ринок через простішу інтеграцію. Особливо цінно для галузей з високими вимогами до адаптивності, таких як фінанси (аналіз контрактів), медиа (генерація скриптів) та медицина (обробка клінічних нотаток).

Техніка базується на створенні мета‑оболонки, яка перетворює послідовність викликів LLM на квільт, де подібні завдання відображаються як майже однакові токен‑за‑токеном. Це дозволяє моделі «бачити» структурну схожість, навіть якщо поверхневий ввід відрізняється. У результаті, інтеграція харнесу не вимагає змін у архітектурі чи вагах моделі, а лише додає тонкий шар логіки перед кожним викликом.

Експерименти показали, що при використанні харнесу з 7‑мільярдним параметрами трансформеру досягається рівень продуктивності, порівняний з 13‑мільярдною базовою моделлю, при збереженні того ж обчислювального бюджету. Наприклад, у задачі генерації SQL‑запитів з естественною мовою точність vzросла з 42% до 68% при однаковому часу виклику.

Визначення: Харнес — програмна оболонка, що орієнтує послідовність викликів великих мовних моделей так, щоб їхні внутрішні представлення ставали інваріантними до поверхневих змін у вхідних даних, тобто робить різні формuluвання одного й того ж запиту еквівалентними для моделі.

Для кого це і за яких умов

7B‑версія з харнесом: працює на одному GPU 24 GB (наприклад, RTX 4090) або еквівалентному в хмарі (~$0,30/год). Потрібен один ML‑інженер для інтеграції API та налаштування конфігурації —约 8 годин. Масштаб: від 10 співробітників (SMB) до великих підприємств; для 27B варто мати кластер з 2× GPU 24 GB або хмарні інстанси ~$0,80/год. 13B‑базова модель (без харнесу): вимагає GPU 24 GB+ або два 12 GB для паралельного запуску, вартість ~$0,45/год в хмарі, потрібен інженер для налаштування, час впровадження 4–6 годин. Час на тестування: 1–2 тижні для повної валідації на корпоративних даних перед комерційним впровадженням.

Альтернативи