ApprenticeBench: тестування здатності AI навчатися роботі як новий співробітник
NeoCognition представив ApprenticeBench — бенчмарк, що оцінює здатність AI-агентів навчатися та виконувати реальні бухгалтерські завдання в симульованій будівельній компанії. Це вимірює довгострокову агентність та постійне навчання, що важливо для оцінки практичної придатності AI в бізнес-процесах.
ВердиктНейтральнаImpact 5/10
🔬 Цікаво для дослідження, але не для продакшену. Це лабораторійний бенчмарк без готового продукту — для компаній до 200 людей тут нема дії: нема інструменту для купівлі, нема API для інтеграції, спостерігати теж рано.
Ключові тези
- Fable 5.1 виконала 72% завдань, GPT-6 Astra — 68%, тоді як більшість моделей набрали 20-25%
- Середній результат людей — 51%, помилки через пошук в історичних даних та втомлюваність
- Податок за використання GUI становив 78% для більшості моделей, проте Fable 5.1 і GPT-6 Astra працювали краще через GUI, хоча таке вартіше ($18.23 за завдання проти $6.95 через API)
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундТакий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Machinelearning — оригіналApprenticeBenchNeoCognitionAIbenchmarkcontinuouslearningagenticAIGUIvsAPIFable5.1GPT-6Astra
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live