Моделі світу роботів тепер мають закони масштабування. Meta навчила 8B-параметричну JEPA на 15 000 годин відео роботів, щоб це довести.

TL;DR

• •Meta навчила 8B-параметричну JEPA модель на 15 000 годин відео роботів
• •Модель демонструє закони масштабування: навички появляються послідовно зростанням обчислень
• •На реальному роботі Franka 8B модель захоплює об'єкти 67% разів vs 5% у baseline
• •Навчання використало 23 публічних наборів даних з 12 типами роботів
• •Поріг для штовхування об'єктів — ~10^22 FLOPs

Як це змінить ваш ринок?

Це дослідження не змінює ринок сьогодні, але сигналізує, що майбутні індустріальні роботи можуть навчатися сприйняти світ і планувати дії без великих маркувань даних. Для виробників роботів це зменшує ризик інвестування в навчання на симуляціях, оскільки показує, що реальне відео може бути достатньо для розвитку складних навичок.

Визначення: JEPA (Joint Embedding Predictive Architecture) — тип самонавчальної архітектури, яка передбачає представлення майбутнього стану у спільному просторі ембеддингів, замість пікселів або токенів.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Сьогодні: ніякого впровадження не можливе — це чисте дослідження без коду, ваг або API
• •Майбутньо (3-5 років): для робототехнічних компаній з бюджетом на R&D від $500K/рік та командою ML-інженерів
• •Потрібний доступ до великих обсягів роботічного відео та обчислювальних ресурсів для навчання моделей схожого розміру

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 | з колонками: Ціна, Де працює, Мін. вимоги, Ключова різниця.

| | π0.5 | OpenVLA | RT-2 | | Ціна | дані не розкриті | дані не розкриті | дані не розкриті | | Де працює | pick-and-place роботи | маніпулятори | visão-мова-дія роботи | | Мін. вимоги | навчання на даних дій | навчання на даних дій | навчання на даних дій | | Ключова різниця | політика дій | end-to-end навчання | VLA з попереднім навчанням |