Tencent навчила відеомодель бачити три кроки вперед

TL;DR

• •

  Метод Looking Ahead від Tencent навчає відеомоделі передбачати кадри через один, два і три кроки вперед без проміжних кадрів

• •

  Розробка застосована до моделі Wan2.2-TI2V-5B з 5 мільярдами параметрів

• •

  Код і ваги опубліковано на GitHub і Hugging Face як відкритий вихідний код

• •

  Мета — вивчити фізику зміни сцени, а не просто копіювати вигляд сусідніх кадрів

• •

  Це дослідницький прототип, а не комерційний продукт з підтримкою

Як це змінить ваш ринок?

Зараз це не змінює нічого для звичайної компанії. Якщо метод дійсно покращить фізичну послідовність відео, це може зменшити кількість відкиданих кадрів при генерації контенту для соцмереж та реклами.

Однак без готового інтерфейсу, API або інструкції по інтеграції бізнес не може використати це сьогодні. Це сигнал для розробників, а не інструмент для маркетологів.

Визначення: Авторегресивна модель — модель, яка генерує послідовність крок за кроком, використовуючи власні попередні вихідні дані як вхід для наступного кроку.

Для кого це і за яких умов

Це для команд з власними ML-інженерами, які можуть розгорнути модель з репозиторію GitHub. Потрібні GPU для навчання та інференсу, час на налаштування й здатність читати код.

Для компанії на 10-50 людей без IT-отділу це не придатно. Мін. масштаб — компанія з власним розробництвом або доступ до ML-інженерів.

Альтернативи