Незалежні дослідження знайшли спосіб повністю відновлювати прихований ризонінг frontier-моделей
Незалежні дослідження знайшли спосіб повністю відновлювати прихований ризонінг моделей OpenAI, Anthropic та Google без джейлбрейка. Це створює ризик витоку конфіденційних даних і спрощує атаки, що вимагає від компаній перегляду захисту AI‑систем.
⚠️ Небезпечна вразливість. Для компаній, що використовують API frontier‑моделей, це вимагає перевірки логів та додаткового filtрування виводу.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Вразливість виявлена у моделях OpenAI GPT-4, Anthropic Claude 3, Google Gemini
- •Архітектурна дірка дозволяє копіювати зашифровані блоки ризонінгу між сесіями
- •У вибірці 315 320 блоків знайдено 367 PII‑артефактів та 182 облікових записи
- •Метод не вимагає джейлбрейка або модифікації ваг моделі
- •Виявлено потенціал для обходу анти‑дисталляційних заходів та спрощення промпт‑ін’єкцій
Як це змінить ваш ринок?
Компанії, що інтегрують frontier‑моделі у свої продукти, тепер повинні вважати логи моделей потенційно небезпечними. Без додаткової фільтрації виводу ризик витоку конфіденційних даних (PII, облікових записів) збільшується на порядок. Це вимагає впровадження проміжного шару, який аналізує та блокує витік敏感них фрагментів перед їх передачею далі.
Для фінансових установ та медичних організацій, де дотримання HIPAA або GDPR є обов’язковим, такий витік може призвести до штрафів і втрати репутації. Рекомендується проводити тижневий аудит логів на наявність повторюючихся блоків фіксованої довжини, характерних для зашифрованих ризонігів.
Визначення: Прихований ризонінг — це внутрішнє ланцюжок «миток» моделі, який зазвичай кодується і не виводиться користувачеві, але може містити проміжні розрахунки та чутливу інформацію.
Для кого це і за яких умов
Для будь‑якої компанії, що використовує API frontier‑моделей (OpenAI, Anthropic, Google) без власного фільтра виводу. Потрібен лише доступ до логів або можливість перехоплювати вивід моделі; додаткових витрат на інфраструктуру немає. Рекомендовано виділити 5‑10 годин інженера безпеки на налаштування моніторингу та тестування фільтрів.
Якщо ваша команда не має досвіду у безпеці AI, розгляньте наймання консультанта або використання готових сервісів, таких як Lakera Guard, щоб скоротити час впровадження.
Альтернативи
| Заходи | Ціна | Де працює | Мін. вимоги | Ключова різниця |
|---|---|---|---|---|
| Локальна фільтрація виводу (regex + AI‑класифікатор) | безкоштовно (власний код) | Будь‑яке середовище з доступом до виводу моделі | Python 3.8+, бібліотека re/transformers | Можливості налаштування під конкретні шаблони PII |
| Lakera Guard (промпт‑безпека) | $0.008 за 1 000 запитів | Хмарний API, інтеграція через SDK | Інтернет‑з’єднання, аккаунт Lakera | Готовий сервіс з оновлюваними правилами виявлення вразливостей |
| Власне розгорнуті відкриті моделі (Llama 3, Mistral) | вартість GPU‑години (~$0.5/год) | Власний сервер або VPS | GPU ≥16 GB RAM, Docker | Повний контроль над архітектурою, без зашифрованих блоків ризонінгу |
| AWS Bedrock з własними фільтрами | залежить від об’єму токенів | AWS Cloud | AWS акаунт, доступ до Bedrock | Інтеграція з уже використовуваними AWS‑сервісами, мінімальна зміна коду |
💬 Часті запитання
Чи впливає ця вразливість на моделі, що розгортаються локально?
Так, якщо модель використовує ту саму архітектуру з зашифрованими блоками ризонінгу (наприклад, деякі варіанти Llama, якщо провайдер залишив такий механізм), то ризик зберігається. Для повністю відкритих ваг без такої кодування проблема не виникає.
Чи потрібно змінювати самі ваги моделі, щоб захиститися?
Ні. Захист досягається на рівні пост‑обробки виводу або контролю доступу до логів, а не модифікації ваг.
Як швидко можна виявити, чи логи вашого сервісу містять витік ризонінгу?
Запустіть скрипт, який шукає послідовності, характерні для зашифрованих блоків (наприклад, повторюючіся паттерни довжини 128 байт) у логах за останню годину. Якщо знайдено понад 10 таких блоків — слід активувати фільтрацію.
Чи є вже готові патчі від провайдерів моделей?
На момент публікації жодного офіційного патчу не оголошено. Провайдери заявляють, що аналізують проблему та планують оновлення архітектури у наступних версіях.
Чи може ця вразливість бути використана для крадіжки моделі?
Непрямо. Вразливість дозволяє витягнути проміжні розрахунки, а не ваги або код моделі, тому крадіжка саме моделі неможлива, але можна викрасти чутливі дані, що обробляються під час інференсу.
Підтекст
Ця вразливість пояснює, чому провайдери моделей не розкривають внутрішні логіки ризонінгу: їх архітектура дозволяє замінювати блоки між сесіями. Це не халявний хак, а наслідок спроектованої сумісності, що створює дірку для витоку даних та спрощення атак. Компанії, що довіряють лише вихідним текстам моделей, можуть не помітити, що їх логи вже містять чутливу інформацію.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Data Secrets — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me