Дослідження: бекдор у ШІ-моделі можна закласти ще на етапі претренингу
Дослідники заклали небезпечний бекдор у ШІ-модель ще на етапі претренингу, підмішавши 0.1% відрованих документів. Такий бекдор переживає чисту посттренінг і працює у 92.7% випадків на моделі з 4B параметрів.
⚠️ Серйозний ризик безпеки. Для компаній на 10-50 людей це теоретична загроза: ви не тренуєте базові моделі з нуля, тому дії не потрібні — просто знайте про ризик при купівлі кастомних моделей.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Дослідження Anthropic про бекдори в ШІ-моделях
- •Потрібно лише 0.1% відрованих документів при претренингу
- •Успішність атаки 92.7% на моделі 4B параметрів
- •Бекдор переживає чисту посттренінг і не виявляється бенчмарками
- •Ефект зберігається навіть при 0.0005% відрування
Як це змінить ваш ринок?
Це підвищує вимоги до прозорості постачальників ШІ-моделей. Компанії, що купують кастомні моделі, повинні вимагати аудиту даних претренингу. Для стандартних бізнесів це сигнал, що безпека моделі залежить не лише від її використання, а й від того, як її навчали.
Визначення: Претренинг — початковий етап навчання ШІ-моделі на великій кількості даних перед донавчанням на конкретні завдання.
Для кого це і за яких умов
Для компаній, що розробляють власну ШІ або купують кастомні моделі: потрібна команда ML-інженерів і бюджет на аудит даних. Для компаній на 10-50 людей, що використовують готові API, дій не потрібне.
Альтернативи
| Готові API-моделі | Кастомні моделі з претренингом | Опенсорс-моделі | |
|---|---|---|---|
| Ціна | Плата за токени | Високі витрати на розробку | Безкоштовні ваги |
| Де працює | Хмара провайдера | Власна інфраструктура | Власна інфраструктура |
| Мін. вимоги | Аккаунт у провайдера | ML-команда, дані | Технічна команда |
| Ключова різниця | Провайдер несе відповідальність за дані | Ви контролюєте дані, але несете ризики | Спільнота перевіряє код |
💬 Часті запитання
Чи стосується це готових моделей типу Claude?
Ні, це дослідження про претренинг моделей з нуля, а не про використання готових API.
Чи можна виявити такий бекдор?
Стандартні бенчмарки не показують різниці, тому потрібні спеціальні тести безпеки.
Чи потрібно чомусь реагувати малому бізнесу?
Ні, якщо ви не тренуєте власні базові моделі з нуля.
Підтекст
Це дослідження про слабке місце ланцюга поставки ШІ: якщо хтось може відрубати дані претренингу, безпека модель залежить від чесності постачальника даних, а не тільки від посттренінгу. Для великих гравців це сигнал перевіряти постачальників моделей; для малого бізнесу — нічого нового.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me