Motion-Omni: єдина модель для генерації мови та рухів тіла за диалогом

TL;DR

• •Модель Motion-Omni генерує мову та рухи тіла з одного латентного стану
• •Швидкість: в 5,4 рази швидше за каскадні TTS + анімаційні рішення
• •Синхронізація зашита в архітектуру, без потреби у пост-обробці
• •Призначена для диалогових аватарів, віртуальних персонажів, інтерактивних систем
• •Дані про розмір моделі, ліцензію або доступність не розкриті

Як це змінить ваш ринок?

Зараз індустрія медіа та розваг використовує роздільні pipeline для TTS та анімації, що вимагає синхронізації постфактум. Якщо Motion-Omni статиме доступним як API або open-source модель, це може скоротити час розробки інтерактивних персонажів на 50%+ для студій анімації та розробників ігор. Проте без комерційного доступу це залишається академічним цікавим.

Визначення: Latent states — спільне стислое представлення даних, яке коджує як семантику мови, так і динаміку рухів, дозволяючи генерувати обидва модальності синхронно.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

Дані не розкриті: немає інформації про розмір моделі, вимоги до GPU, ліцензію або доступність. Через це не можна визначати mínimalний масштаб або потрібну команду.

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 |

| Ціна | дані не розкриті | вартості за запитом (NVIDIA Audio2Face, NVIDIA Riva) | безкоштовно (роздільні pipeline: Coqui TTS + Blender) | вартості за запитом (Google WaveNet + Unity Timeline) | | Де працює | дані не розкриті | локально/хмара | локально | хмара | | Мін. вимоги | дані не розкриті | GPU 24GB+ | CPU + GPU середньої потужності | інтернет-з’єднання | | Ключова різниця | дані не розкриті | інтегрований TTS + анімація | роздільні інструменти, потребує синхронізації | хмарні сервіси з окремим TTS та анімацією |