Заохочення загальної узагальненості: навчання Gemma чомусь пояснювати

TL;DR

• •Новий тип узагальнення 'за принципами' для покращення зворотного зв'язку у LLM
• •Тестування RL, яке нагороджує модель за посилання на конституцію під час розсудів
• •Навчання з учителем залишається найефективнішим методом наразі
• •Робота оприлюднена на LessWrong, автор — незалежний дослідник
• •Фокус на прозорість і відповідальність моделей, а не на продуктивність

---

Як це змінить ваш ринок?

Для галузі освіти та дослідницьких лабораторій ця робота може надати нові підходи до тренування моделей з урахуванням етичних обмежень. Проте для комерційного застосування в компаніях до 200 людей відчутного впливу не очікується, оскільки пропозиція ще не перетворена на готовий інструмент або API.

Визначення:

Узагальнення 'за принципами' — це тип зворотного зв'язку, де модель отримує нагороду не лише за правильність відповіді, а й за те, наскільки вона посилається на свої внутрішні принципи або конституцію під час формування відповіді.

Для кого це і за яких умов

Для дослідників AI та академічних лабораторій, які працюють над прозорістю та відповідальністю моделей. Потрібний доступ до Gemma або подібних моделей, можливість модифікувати функції втрати та проводити експерименти з RL. Не потрібна спеціалізована команда, але потрібні навички у машинному навчанні та доступ до обчислювальних ресурсів.

Альтернативи

| | Продукт 1 | Продукт 2 | Продукт 3 | | Ціна | дані не розкриті | дані не розкриті | дані не розкриті | | Де працює | Gemma, LLaMA, інші відкриті моделі | Gemma, LLaMA, інші відкриті моделі | Gemma, LLaMA, інші відкриті моделі | | Мін. вимоги | знання ML, доступ до моделі, обчислювальні ресурси | знання ML, доступ до моделі, обчислювальні ресурси | знання ML, доступ до моделі, обчислювальні ресурсы | | Ключова різниця | фокус на 'за принципами' узагальненні | стандартне RLHF | стандартне SFT |

---