Дослідники знайшли способ зменшити споживання токенів ШІ-агентів у 50 раз

TL;DR

• •Дослідники з Google та Purdue представили SKILL.state — метод пам’яті для ІІ-агентів, що зменшує споживання токенів у 50 раз.
• •У тесті з 200 кроків точність збереглася на рівні 94% при використанні 122 тис. токенів замість 6,17 млн.
• •Метод зберігає лише структуроване поточне стан: ключові факти, прогрес та дані для наступного кроку.
• •Потенційна економія токенів робить довгострокові завдання агентів доступними для масштабного бізнес-використання.
• •Дослідження є академічним прототипом; для продакшену потрібна інтеграція та адаптація під конкретні агенти.

Як це змінить ваш ринок?

Зменшення споживання токенів у 50 раз прямо знижує вартість використання API ІІ-агентів, що є критичним блоком для компаній, що масштабно розгортають агенти в підтримці клієнтів, аналізі даних або автоматизації процесів. Тепер фінансова нагрузка на токени може стати незначною, що відкриває можливість розгортати більш складні та довгострокові агенти без страху перед зростанням рахунків. Це особливо цінно для галузей, де агенти працюють тривалий час: медична діагностика, фінансовий аналіз, юридичний документопотік.

Визначення: SKILL.state — метод пам’яті, який замість зберігання повної історії дій агента зберігає лише структуроване поточне стан, включаючи ключові факти, прогрес та дані, необхідні для наступного кроку.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Для компаній, що вже використовують ІІ-агентні системи з доступом до модифікації пам’яті: потрібна команда ML-інженерів або досвідчені розробники, час на інтеграцію — 1-2 тижні, бюджет — нуль (якщо метод реалізовано як відкрита бібліотека).
• •Для стартапів та SMB без власних агентів: метод не є готним продуктом; потрібно чекати на реалізацію у популярних фреймворках (LangChain, LlamaIndex) або чекання на оновлення від постачальників API.
• •Мін. масштаб: від 10 активних агентів одночасно, щоб економія токенів була помітною на рахунку.
• •Час на впровадження: якщо доступний плагін — 1-2 дні; якщо потребує розробки — до 1 місяця.

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 | з колонками: Ціна, Де працює, Мін. вимоги, Ключова різниця.

| Метод | SKILL.state (дослідження) | Підсумовування історії | Традиційна повна історія | Ціна | дані не розкриті (відкритий прототип) | варіант залежить від фреймворка (зазвичай безкоштовно) | безкоштовно (за замовчуванням) | Де працює | Експериментальне середовище, потенційна інтеграція у фреймворки | Широко доступно в бібліотеках типу LangChain | Стандартний режим більшості фреймворків | Мін. вимоги | Потреба до доступу до логіки пам’яті агента | Жодних | Жодних | Ключова різниця | Зменшення токенів у 50 раз при збереженні точності | Зменшення токенів у 2-10 раз, але з втратою точності | Найвища точність, але найвище споживання токенів