THX-01: Швидка багатомовна модель прийняття рішень для документних запитань

TL;DR

• •Модель THX-01 має 322 млн параметрів
• •Вивід за ~10 мс завдяки неавторегресивній архітектурі
• •Підтримує 4 типи відповідей: вибір, число, фрагмент, цитата
• •Робота у понад 100 мовах
• •Навчена методом RLCD

Як це змінить ваш ринок?

Для медиакомпаній та видавництв такий інструмент може скоротити час на пошук інформації в документах — але тільки якщо будуть доступні ваги та простий інтерфейс. Поки це дослідження, а не продукт.

Визначення:

RLCD (Reinforcement Learning from Contrastive Data) — метод навчання, де модель вчиться відрізняти правильні та неправильні відповіді через контрастні приклади, а не лише через мітки.

Для кого це і за яких умов

Поки що: для дослідників NLP, які хочуть експериментувати з неавторегресивними архітектурами. Потрібні навички роботи з трансформерами, доступ до ваг (якщо будуть опубліковані) і GPU для інференсу. Для бізнесу — ні, поки не буде готового сервісу або API.

Альтернативи