Вимірювання контролю активацій у LLM

TL;DR

• •25 відкритих вагомих LLM протестовано на контроль активацій.
• •Большість моделей можуть модулювати salientність концепцій, але не можуть цільово впливати на конкретні шари.
• •Новіші моделі часто показують гірші результати, ніж старші, наприклад Llama 3.1 8B.
• •Вимірювання проводилося на синтетичних метриках, без реальних завдань.
• •Дослідження публіковано на LessWrong, посилання на www.lesswrong.com/posts/HgvwxjzgwvsEvAiBH/measuring-activation-control-in-llms

Як це змінить ваш ринок?

Дослідження сигналізує, що покладатися на точний контроль шарів у LLM для спеціалізованих задач може бути нереальним. Компанії, які планують використовувати промпт-інженерію для тонкої настройки поведінки моделі, повинні розглядати альтернативні методи, такі як fine-tuning на датасеті або використання зовнішніх фільтрів. Це може зменшити очікувані переваги від найновіших моделей і спрямувати увагу на перевірені архітектури, які мають стабільні властивості контролю активацій. Для галузей, де важлива інтерпретованість (медицина, фінансы, право), результати підкреслюють потребу у додаткових методах валідації виходів моделей, а не лише на довірі до її внутрішніх механізмів.

Визначення:

Контроль активацій — здатність языкової моделі змінювати вагу або salientність конкретних концепцій у її внутрішніх представленнях без зміни ваг.

Для кого це і за яких умов

Для дослідників ML та інженерів, що працюють з LLM, достатньо мати доступ до артефактів моделі та можливості запускати інференс. Не потрібна спеціалізована апаратна підтримка для повторення вимірювань, проте для масштабного тестування рекомендується GPU з 24 ГБ пам’яті. Час на ознайомлення з методологією —约 2 години, репродукція експерименту — до 1 дня на середньому кластері. Якщо ваша команда не має досвіду з низкорівневого аналізу моделей, краще спільно працювати з академічними партнерами або консультантами, які вже мають досвід у такий родах дослідженнях.

Альтернативи