Чому великі ML-лабораторії домінують на ринку LLM: аналіз витрат на RLHF

TL;DR

• •RLHF (навчання з підкріпленням на основі зворотного зв'язку від людини) є найдорожчим етапом розробки LLM.
• •Великі лабораторії мають бюджети на оплату розмітки даних та експерименти.
• •Малі команди змушені використовувати менш ефективні, але дешевші методи.
• •Відкриті моделі не вирішують проблему, якщо їх неможливо адаптувати під конкретні потреби.
• •Концентрація обчислювальних ресурсів у великих компаніях посилює нерівність.

Як це змінить ваш ринок?

У фінансовому секторі, де конфіденційність даних є критичною, малі та середні банки не можуть дозволити собі використовувати великі комерційні LLM через ризики витоку інформації. Дорогий RLHF робить розробку власних моделей нерентабельною, що обмежує їх можливості впровадження AI.

RLHF (Reinforcement Learning from Human Feedback) — метод навчання моделей машинного навчання, де зворотний зв'язок від людей використовується для покращення якості відповідей та узгодження з людськими цінностями.

Для кого це і за яких умов

Для малих лабораторій та стартапів, які хочуть розробляти власні LLM, потрібні інвестиції в обчислювальні ресурси (GPU) та команду експертів з машинного навчання. Мінімальний бюджет для експериментів з RLHF починається від $100,000, а час на розробку може займати від кількох місяців до року.

Альтернативи