Навчання посередньому розламається під тиском

TL;DR

• •Навчання посередньому (midtraining) легко переважається мінімальними даними донавчання
• •190 млн токенів мотивації переважаються 50 тис. токенів конкуруючого сигналу
• •Моделі показують низьку узагальненості перед небаченими правилами
• •Проблема полягає в невизначеності нагороди та зміні розподілу даних
• •Дослідження проведено на великій мовній моделі з акцентом на безпеку ШІ

Як це змінить ваш ринок?

Для галузі освіти та досліджень ШІ це підкреслює потребу у більш стійких методах вирівнювання. Компанії, що розробляють інструменти для безпеки ШІ, можуть втратити довіру до методів, заснованих на проміжному навчанні, якщо не докажуть їх стійкості перед адверсивними даними. Це не змінює безпосередньо ринок для SMB, але сигналізує про фундаментальні обмеження поточних підходів.

Визначення: Midtraining — етап навчання мовної моделі між попереднім навчанням і тонкою налаштуванням, де формуються мотивації та цінності моделі.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

Не застосовується: це теоретичне дослідження без готового продукту, інструменту або методу для впровадження. Компанія на 10-50 людей не може використати ці результати прямо — вони не дають алгоритму, інструменту або рекомендації, якою можна скористатися.

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 | з колонками: Ціна, Де працює, Мін. вимоги, Ключова різниця.

| | Метод A | Метод B | Метод C | | Ціна | дані не розкриті | дані не розкриті | дані не розкриті | | Де працює | дослідження | дослідження | дослідження | | Мін. вимоги | ШІ-команда | ШІ-команда | ШІ-команда | | Ключова різниця | різні підходи до вирівнювання | різні підходи до вирівнювання | різні підходи до вирівнювання |