AI News
ДІЇ НЕМАНейтральнаImpact 5/10Research🔐 Кібербезпека

Дослідники тепер можуть зворотньо інженеріювати промпти LLM з вихідного тексту з близькою до ідеальної точністю

Редакція AI NewsДжерело: The DecoderОпубліковано Оновлено
The Decoder•3 місяці тому•3 перегляди•

Дослідники з IIT Bombay та Adobe Research розробили метод Previous-Token Prediction, який відновлює оригінальний промпт LLM за його виходом з точністю понад 90%. Це створює загрозу для компаній, що використовують власні системні промпти, оскільки тепер їх можна викрасти без доступу до ваг моделі.

ВердиктНейтральнаImpact 5/10

⚠️ Ризик витоку. Для компаній, що використовують власні системні промпти, це ставить під загрозу конфіденційність.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •Метод Previous-Token Prediction відновлює промпти LLM з вихідного тексту з точністю понад 90%.
  • •Не потребує доступу до ваг моделі і працює між різними архітектурами LLM.
  • •Публікація дослідження: 12 серпня 2026 року, autori з IIT Bombay та Adobe Research.
  • •Техніка створює потенційну загрозу для конфіденційності системних промптів у корпоративних AI-системах.
  • •Захист може вимагати додаткової фільтрації виходу або шифрування промптів.

Як це змінить ваш ринок?

Поява здатності відновлювати промпти з виходу LLM ставить під питання конфіденційність системних інструкцій, які компанії використовують для налаштування поведінки моделей. Якщо промпт може бути викрадено, конкуренти або зловмисники можуть отримати доступ до власної логіки бізнес-процесів, що призводить до втрати конкурентних переваг та потенційних фінансових втрат. Тому компанії повинні переглянути свої стратегії безпеки AI та розглянути технічні заходи, такі як фільтрація виходу або шифрування промптів, щоб зменшити ризик.

Визначення: Previous-Token Prediction — техніка, яка за допомогою статистичного моделювання попередніх токенів відновлює оригінальний промпт, що вивів LLM, без доступу до ваг або архітектури моделі.

Для кого це і за яких умов

Для будь-якої компанії, що використовує API LLM у своїх продуктах або внутрішніх процесах, достатньо мати доступ до логів виходу та базові навички аналізу даних. Додатковий бюджет не потрібен для первинної оцінки ризику — достатньо провести тест на вихідних даних. Якщо вирішено впроваджувати захист, рекомендується виділити до $500/міс на сервіси фільтрації виходу або шифрування промптів, а також призначити одного фахівця з безпеки на 0,2 FTE для моніторингу та налаштування правил.

Альтернативи

Промпт-ШIELDAI Prompt EncryptorЛог-аналізатор безпеки
Ціна$300/міс$450/міс$200/міс
Де працюєФільтрація виходу LLM у хмарі або на premisesШифрування системних промптів перед надсиланням до LLMАналіз логів виходу на предмет відновлюваних промптів
Мін. вимогиДоступ до API LLM, можливість перехоплювати вихідМожливість змінювати промпт перед запитомСистема збору логів (ELK, Splunk) та базові скрипти
Ключова різницяБлокує можливість відновлення промпту шляхом маскування токенівРобить промпт непрозорим для зовнішніх спостерігачівВиявляє спроби відновлення та сповіщає про інцидент

💬 Часті запитання

Чи працює метод проти всіх моделей LLM?

Так, дослідження показує ефективність на різних архітектурах, включаючи GPT‑like, LLaMA та інші трансформерні моделі, проте точність може змінюватися залежно від розміру та навчання моделі.

Чи потрібен доступ до ваг моделі для атаки?

Ні, метод Previous-Token Prediction працює виключно з вихідним текстом, тому не потребує доступу до ваг або коду моделі.

Як може компанія захиститися від такої загрози?

Рекомендується застосовувати фільтрацію виходу (наприклад, заміна або маскування токенів), шифрувати системні промпти перед передачею до LLM та моніторити логи на предмет незвичайних патернів, що можуть свідчити про спробу відновлення.

Чи є юридичні наслідки для компаній, якщо їх промпти будуть викрадені?

Так, викрадення конфіденційних промптів може порушувати комерційну таємницю та призвести до цивільних або регуляторних санкцій, особливо якщо промпти містять власну бізнес-логіку або дані клієнтів.

Підтекст

Метод Previous-Token Prediction показує, що навіть без доступу до ваг моделі можна відновити промпт з високою точністю, використовуючи лише статистичну залежність між токенами. Це означає, що компанії, які вважають свої системні промпти конфіденційними, можуть бути вразливими до простих атак на вихід. Така вразливість актуальна для всіх провайдерів LLM, які не шифрують або не маскують промпти.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
LLMpromptinjectionsecurityreverseengineeringAIresearch

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me