EventEgoHands++: 3D-реконструкція рук за даними event-камери від Keio University

TL;DR

• •EventEgoHands++ — це система 3D-реконструкції рук за даними event-камери від Keio University
• •Працює в повній темряві та при сильному розмитті, де RGB та depth-камери не ефективні
• •Визначає кількість рук (0, 1, 2) та їх взаємне положення з масками та bounding-box
• •Використовує адаптивну увагу для динамічного моделювання взаємодії двох рук
• •Доступно на GitHub як відкритий код для дослідників

Як це змінить ваш ринок?

Для виробників промислових роботів або AR/VR-шлемів це може знизити залежність від доброго освітлення в системах відстеження рук. Однак без готового SDK або інтеграції з популярними платформами (ROS, Unity, Unreal) впровадження залишається завданням для NVIDIA або спеціалізованих робототехнічних фірм, а не для середнього бізнесу.

Визначення: Event-камера — сенсор, який записує не абсолютну яскручість пікселя, а її зміни за часом, що дозволяє працювати з високою динамічною діапазоном та низькою затримкою.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Потрібна event-камера (наприклад, Prophesee или CeleX) — вартість від $200
• •Потрібен досвідчений розробник з C++/Python та знаннями у комп'ютерному баченні
• •Час на інтеграцію: від 2 тижнів (для прототипу) до 2+ місяців (для стабільного продукту)
• •Не потрібна велика команда, але потрібна спеціалізована кваліфікація

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 |

| Ціна | $0 (опенсорс) | $0 (MediaPipe Hands) | $0 (OpenPose) | | Де працює | GitHub репозиторій | Google MediaPipe | CMU OpenPose | | Мін. вимоги | Event-камера + GPU | Webcam або мобільний телефон | Webcam або мобільний телефон | | Ключова різниця | Працює в темряві та при розмитті | Потребує доброго освітлення | Потребує доброго освітлення, складно з взаємоблокуючими руками |