Datasette LLM Usage 0.2a0: контроль витрат і логування LLM для бізнесу

TL;DR

• •Випуск плагіна datasette-llm-usage 0.2a0: перенесено функції лімітів та оцінки вартості у новий плагін datasette-llm-accountant.
• •Тепер можна логувати повні промпти, відповіді та виклики інструментів у таблицю llm_usage_prompt_log при увімкненні налаштування log_prompts.
• •Плагін залежить від datasette-llm для конфігурації моделей та вимагає особливого дозволу для сторінки /-/llm-usage-simple-prompt.

Як це змінить ваш ринок?

Поширення великих мовних моделей викликає потребу в прозорості їх використання: компанії хочуть контролювати витрати, аудитувати запити та дотримуватись нормативних вимог. Дatasette-llm-usage надає легкий спосіб збирати детальні дані про LLM-взаємодії без зміни основного додатку. Це робить інструмент привабливим для команд, які вже використовують Datasette як платформу для аналізу даних і тепер хочуть розширити його можливості у сфері AI-observability. Тоді як окремі рішення для моніторингу LLM часто є дорогими та складними в інтеграції, цей плагін пропонує легковісний, відкритий альтернативний варіант, що легко вписується в існуючі workflow.

Визначення: LLM-observability — це збір, зберігання та аналіз даних про запити до великих мовних моделей та їх відповідей, що дозволяє оцінювати витрати, виявляти аномалії та забезпечувати дотримання політик використання AI.