З сесій з агентами отримуються готові оцінки
Автор створив гайд і скіл, які автоматично генерують завдання для оцінки з сесій агентів. Він поділився посиланнями на гайд, GitHub-репозиторій та лидерборд для порівняння різних налаштувань агентів.
📊 Корисно для тестування агентів. Гайд і скіл допомагають порівнювати налаштування без ручної роботи — для тих, хто запускає агенти в продакшене.
Що це означає для вас
Спробуйте скіл для генерації оцінок з власних сесій агентів
🕐 Склонуйте репозиторій з GitHub і запустіть його на одному з ваших логів сесій (20 хв)
📊 З новини: ~1270 сесій у авторa🛠 Інструмент: evals-from-sessions
Пропустіть, якщо: якщо ви не використовуєте кодових агентів типу Claude Code або Codex
Перевірте, чи може ваша команда скоротити час на створення тестів для агентів за допомогою автоматизації
Отримати карту AI-можливостей →🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Автор проаналізував ~1270 сесій з Claude Code, Codex та Pi
- •Створив 10 завдань з автоматичною перевіркою для оцінки агентів
- •Гайд доступний за посиланням teletype.in/@ibragim_bad/fm5jSJvYb_5
- •Скіл для генерації оцінок — у GitHub-репозиторії ibragim-bad/evals-from-sessions
- •Лидерборд результатів — на ibragim.dev/leaderboard/
Як це змінить ваш ринок?
Команди, які розробляють або інтегрують кодові агенти, зможуть швидше порівнювати моделі та налаштування. Це зменшує залежність від суб’єктивної оцінки та прискорює цикл zpětnой зв’язки при впровадженні AI-агентів у workflow.
Визначення:
evals (оцінки) — набір тестових завдань з автоматичною перевіркою, які вимірюють якість роботи AI-агента на конкретних задачах.
Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження. ❌ "Підходить для компаній будь-якого розміру". ✅ "7B: MacBook 16GB, без IT-команди, 15 хв. 27B: GPU $2,000+ або хмара ~$0.5/год, IT-спеціаліст, 1-2 дні.")
- •Для IT-команд та лідерів технологій у компаніях від 10 людей
- •Потрібен доступ до логів сесій агентів (Claude Code, Codex, Pi або аналогів)
- •Початкове налаштування: 20-30 хв на клонування та запуск скіла
- •Не вимагає спеціалізованого обладнання — працює на стандартному ноутбуці
- •Масштаб: корисно вже при тестуванні одного агента, але особливо цінно при порівнянні 3+ налаштувань
Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 | з колонками: Ціна, Де працює, Мін. вимоги, Ключова різниця. ОБОВ'ЯЗКОВО конкретні ціни. ❌ "Потужна модель" — нуль інформації. ✅ "$15/1M токенів" або "безкоштовно" або "ціна не розкрита".)
| | evals-from-sessions | LangSmith | Weights & Biases | Humanloop | | Ціна | безкоштовно | від $0.002/запуск | безкоштовний тариф, платні piani | від $49/міс | | Де працює | локально, GitHub | хмара, SaaS | хмара, SaaS | хмара, SaaS | | Мін. вимоги | доступ до логів агентів | інтеграція з агентом | інтеграція з моделлю | інтеграція з workflow | | Ключова різниця | генерує тести з сесій | оцінка в реальному часі | трекінг експериментів | оптимізація промптів |
💬 Часті запитання
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Сиолошная — оригіналНавчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live