Olmo's Kitchen: перевірка поведінки моделі на різних етапах навчання

TL;DR

• Аналіз моделі Olmo 3 7B на трьох етапах навчання: SFT, DPO та RLVR.

• Дослідження впливу етапу нагороди RLVR на поведінку в інших галузях.

• Вимірювання якостей моделі: впевненість та сінкофанство.

• Технічна проблема: обрізка токенів під час тестування.

• Джерело: LessWrong, дослідницький пост без комерційного продукту.

Як це змінить ваш ринок?

Це дослідницький матеріал, а не запуск продукту. Для бізнесу на 10-50 людей це не змінює нічого в операційній діяльності.

Визначення: SFT (Supervised Fine-Tuning) — донавчання моделі на прикладах з правильними відповідями.

Визначення: DPO (Direct Preference Optimization) — оптимізація прямих уподобань для вирівнювання моделі з людськими цінностями.

Визначення: RLVR (Reinforcement Learning with Verifiable Rewards) — навчання з підкріпленням на основі перевірюваних нагород.

Для кого це і за яких умов

Це матеріал для дослідників і інженерів з ШІ, які розбираються в архітектурі моделей. Для компаній без власної ML-команди цей текст не має практичного застосування.

Альтернативи