Гібридна архітектура пам'яті Tencent для чатів та коду

TL;DR

• •Текст описує гібридну архітектуру пам'яті Tencent для LLM-систем
• •Поєднує витяжки LLM, графи, ембедінги + BM25 та сабагентів
• •Сабагенти виявляють та позначають суперечності як 'пам'ять помилок'
• •Для обробки пропонується модель 30B A3B, а для навігації — 4b MemoryQwen
• •Немає жодного готового продукту, API або коду для використання

Як це змінить ваш ринок?

Ця стаття не змінить ринок для SMB, оскільки описує лише дослідження Tencent без готового продукту. Для впровадження такої архітектури потрібна команда ML-інженерів і значні ресурси, що недоступно для більшості компаній до 200 людей.

Визначення:

Гібридна пам'ять — це система, що поєднує різні типи даних (текст, графи, ембедінги) та механізми для їх оновлення та виявлення суперечностей у контексті LLM-додатків.

Для кого це і за яких умов

Не для SMB. Потребує: ML-команда, доступ до великих мовних моделей, бюджет на дослідження та розробку, 3+ місяці на впровадження. Для 10-50 людей це нічого не змінює — немає готового рішення.

Альтернативи

| | Продукт 1 | Продукт 2 | Продукт 3 | | Ціна | дані не розкриті | дані не розкриті | дані не розкриті | | Де працює | Tencent (внутрішнє) | N/A | N/A | | Мін. вимоги | ML-команда, GPU-кластер | N/A | N/A | | Ключова різниця | Гібридна архітектура з позначкою помилок | N/A | N/A |