SceneMosaic: генерація 3D-сцен з однієї фотки (ГКУ + УЕСТЦ)

TL;DR

• •Швидкість: базова сцена генерується за约 8 хвилин, а кожен додатковий варіант розміщення — за约 2 хвилини, що робить метод придатним для швидкої ітерації.
• •Вихід: отримується серія фізично стабільних 3D-сцен, кожна з яких готова до симуляції в движках типу Unity або Unreal.
• •Метод: використовуються VLM-агенти типу Critic‑Actor, які аналізують ортографічні виписи, виправляють семантичні та фізичні помилки та пропозиційно пропонують альтернативні планировки.
• •Джерело: розроблено дослідниками 香港大學 (HKU) та Університету електроніки та науки и технологій Китаю (UESTC), код публічно доступний на GitHub за ліцензією, що не розкрита.
• •Обмеження: для роботи агентів потрібен GPU з підтримкою CUDA (мінімум 8 ГБ VRAM), точні програмні залежності та розмір датасету не розкриті у публікації.

Як це змінить ваш ринок?

Для медіа-студій, що створюють віртуальний продакшн та інтерактивний контент, SceneMosaic скорочує етап підготовки 3D-декорацій з кількох годин до декількох хвилин, зменшуючи витрати на працівників 3D-модельерів та дозволяючи швидше тестувати різні варіанти розміщення реквізиту. Це також знижує бар’єр входження для маленьких продакшн-команд, які не можуть собі дозволити дорогі агентні конвеєри або придбання ліцензій на комерційні інструменти типу Photogrammetry Suite.

У результаті компанії можуть випускати більше варіантів візуального контенту за однаковий бюджет, що підвищує їх конкурентоспроможність на ринку реклами та розваг. Для індустрії електронної комерції метод дозволяє швидко генерувати 3D‑моделі товарів з однієї фотографії, скорочуючи час виготовлення карток товарів та зменшуючи залежність від дорогих фотостудій.

Визначення: SceneMosaic — це система, яка з однієї фотографії генерує набір фізично стабільних 3D-сцен за допомогою VLM-агентів, які еволюційно підбирають оптимальне розміщення об’єктів, забезпечуючи при цьому відповідність реальним законам фізики та семантичності сцени.

Для кого це і за яких умов

Ідеальним користувачем є середня або велика контент-студія, архітектурне бюро або ігрова студія, яка вже має в штаті інженера з досвідом роботи з GPU та готова виділити 1-2 спеціалістів на інтеграцію коду у своїй пайплан. Потрібне обладнання: робоча станція з GPU не менше RTX 3060 (6 ГБ VRAM) або краще, а також достатньо дискового простору для тимчасових файлів (приблизно 10 ГБ).

Мінімальний масштаб бізнесу — команда від 5 осіб, щоб забезпечити підтримку та тестування. Час на впровадження оцінюється в 1-2 тижні: перші три дні — завантаження та запуск демо, наступні дні — адаптація під формати виходу та інтеграція з движком. Для команд без досвіду роботи з GPU рекомендується спочатку пройти онлайн‑курс по основам CUDA та роботи з PyTorch, щоб скоротити ризик неправильної установки.

Альтернативи