Zero‑Mem: Нульово‑токенові операції пам’яті для агентів LLM

TL;DR

• •Zero‑Mem зменшує кількість токен‑операцій пам’яті LLM‑агентів на 57,6% замість звичайних викликів моделі.
• •Метод базується на сутій‑контекстних графах і ієрархіях часу для детермінованого пошуку слідів.
• •Опубліковано на arXiv: 2607.29377, отримано 40 балів за 5 годин на Hacker News.
• •Підтримує детерміноване відновлення пам’яті без додаткових викликів LLM, що скорочує латентність.
• •Ліцензія — Apache 2.0, код доступний у публічному репозиторії.

Як це змінить ваш ринок?

Компанії, що використовують LLM‑агентів для обслуговування клієнтів або автоматизації процесів, часто стикаються з високою витратою обчислювальних ресурсів через часто виклики моделі для доступу до пам’яті. Zero‑Mem дозволяє замінити ці виклики на швидкий пошук у графі, що може зменшити витрати на інференцію до 30 % у сценаріях з довгими розмовами. Це робить технологію привабливою для SaaS‑продуктів, де економія на токенах прямо перекладається на нижчі рахунки за хмарні ресурси. Крім того, скорочення латентності покращує користувацький досвід у чат‑ботах та віртуальних помічниках, що може збільшити задоволення клієнтів та знизити відток.

Визначення: LLM‑агент — система, яка використовує велику мовну модель для прийняття рішень і підтримує внутрішню пам’ять для зберігання контексту розмови або завдань.

Для кого це і за яких умов

• •7B‑розмір моделі: MacBook 16 ГБ RAM, без окремого IT‑отділу, інтеграція за 1‑2 години.
• •27B‑розмір: GPU з 24 ГБ пам’яті (наприклад, RTX 4090) або хмарний інстанс ~$0,4/год, потрібен один інженер‑ML для налаштування графа.
• •Мін. масштаб: від 5 активних агентів паралельно, щоб отримати помітну економію токенів.
• •Час на впровадження: 1 день для прототипу, 3‑5 днів для продакшн‑готового модуля.

Альтернативи