AI News
Є ДІЯНейтральнаImpact 2/10Production-ReadyДля всіх

Випуск llm 0.34

Редакція AI NewsДжерело: Simon WillisonОпубліковано Оновлено
Simon Willison•3 місяці тому•1 перегляд•

Випуск llm 0.34 додає тривалість відповіді в мілісекундах та у читабельному форматі до виводу llm logs --usage у форматі Markdown. Додано нове поле duration_ms у llm logs --short, а також виправлено помилки та покращено продуктивність.

ВердиктНейтральнаImpact 2/10

🔬 Коротке оновлення інструменту для розробників. Зручне для тих, хто вже використовує llm у роботі з промптами та аналізує витрати токенів.

Що це означає для вас

IT-команді

Перевірте, чи оновлено llm до версії 0.34 у ваших скриптах логування AI-запитів

Перший крокЗапустіть 'pip install -U llm' та перевірте версію командою 'llm --version' (5 хв)

З новини: 0.34

Пропустіть, якщо: якщо ви не використовуєте llm для логування запитів до LLM

Скільки годин на тиждень ваша команда витрачає на те, що вже вміє AI? Подивіться карту можливостей своєї компанії.

Отримати карту AI-можливостей →

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •Випущено llm 0.34 з покращеннями логування
  • •Додано тривалість відповіді в мілісекундах у вивід llm logs --usage
  • •Нове поле duration_ms у llm logs --short
  • •Значне покращення продуктивності llm logs
  • •Виправлено кілька помилок з вкладом спільноты

Як це змінить ваш ринок?

Для розробників та технічних команд, які використовують llm для логування взаємодії з LLM, це оновлення робить автоматизацію звітів про продуктивність точнішою та простішою. Це зменшує ручну обробку логів для аналізу витрат та швидкості відповідей.

Визначення:

llm — це інструмент командного рядка від Simon Willison для взаємодії з великими мовними моделями (LLM) та логування їх використання.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

  • •llm 0.34: працює на будь-якому комп'ютері з Python 3.8+, без додаткових витрат, не потребує IT-команди, оновлення за 5 хв.

Альтернативи

Продукт 1Продукт 2Продукт 3
Цінабезкоштовно (llm)безкоштовно (litellm)безкоштовно (openai Python SDK)
Де працюєлокально, через CLIбібліотека Pythonбібліотека Python
Мін. вимогиPython 3.8+Python 3.7+Python 3.7+
Ключова різницяспеціалізований на логуванні та запитахуніверсальний проксі для LLMофіційна бібліотека OpenAI

💬 Часті запитання

Чи потрібна API-ключ для використання llm?

Так, llm потребує API-ключів для доступу до LLM-провайдерів (наприклад, OpenAI, Anthropic), але саме інструмент llm є безкоштовним та відкритим.

Чи працює llm з локальними моделями?

Так, llm підтримує локальні моделі через плагіни типу llm-gpt4all або llm-llama-cpp.

Чи є llm придатним для продакшену?

Так, llm використовується в продакшені для логування, тестування та автоматизації роботы з LLM через CLI.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
llmlogsusagedurationperformance

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me