Імхо, найкращий бенчмарк для LLMок прямо зараз — дивитися, якого рівня ігри вони можуть робити за пару промтів і порівнювати з тим, що вони робили рік тому.
Автор пропонує оцінювати LLM за їхню здатність створювати прості ігри за кількома промтами, а не за сухими числовими бенчмарками. Це дозволяє бізнесу краще оцінювати практичну креативну здатність моделей для маркетингу та контенту.
📊 Бенчмарк ігор. Показує реальний прогрес LLM у креативних задачах — для тих, хто оцінює моделі на практичних прикладах.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Автор пропонує оцінювати LLM за здатність створювати ігри з кількох промтів.
- •Claude Opus 5 згенерував сцену Three.js з одного промту, демонструючи метод.
- •Такий підхід дозволяє побачити реальний прогрес у креативних задачах LLM.
- •Традиційні числові бенчмарки часто не відображають практичну здатність моделей.
- •Для бізнесу це означає кращу оцінку AI-інструментів для контенту та маркетингу.
Як це змінить ваш ринок?
Використання креативних завдань як бенчмарк зсуває фокус з абстрактних метрик на практичні результати, які бізнес може безпосередньо застосувати. Це може призвести до більш обґрунтованого вибору AI-моделей для генерації контенту, дизайну та інтерактивних тренажерів. Компанії, які залежать від візуального та інтерактивного контенту, отримають зрозуміліший спосіб порівняння моделей.
Визначення: LLM — велика мова модель, що генерує текст, код та інші артефакти на основі промптів.
Для кого це і за яких умов
Для кого: маркетингові та контент-команди, які створюють прості інтерактивні елементи або прототипи. Умови: доступ до API LLM з можливістю генерувати код (наприклад, Claude, GPT-4o), базові навички промт-інженерії, можливість запускати JavaScript/Three.js у браузері. Мін. масштаб: будь-яка команда, навіть один спеціаліст. Час на впровадження: 1–2 години для тестування промту та перегляду результату.
Альтернативи
| Продукт | Ціна | Де працює | Мін. вимоги | Ключова різниця |
|---|---|---|---|---|
| Claude Opus 5 API | $0.015 за 1K токенів | хмара | доступ до інтернету, обліковий запис Anthropic | найякісніша генерація коду та креативних текстів |
| GPT-4o API | $0.005 за 1K токенів | хмара | доступ до інтернету, обліковий запис OpenAI | хороша баланс ціни та якості для кодогенерації |
| Llama 3 70B (власний хостинг) | безкоштовно (власний сервер) | локально/хмара | GPU з ≥24 ГБ пам’яті, навички адміністрування | повна контроль над даними та моделью, без плати за токени |
| Gemini Pro API | $0.0005 за 1K токенів | хмара | доступ до інтернету, обліковий запис Google | найнижча вартість серед пропрієтарних моделей |
💬 Часті запитання
Чи потрібні навички програмування для використання цього бенчмарка?
Ні, базовий промт може згенерувати готовий код Three.js, який можна просто скопіювати у файл HTML та відкрити у браузері. Для модифікації потрібні мінімальні навички JavaScript.
Чи замінить такий бенчмарк традиційні тести типу MMLU або GSM8K?
Ні, він доповнює їх, акцентуючи увагу на креативній та практичній здатності, а не на абстрактному розумінні.
Як часто слід оновлювати такий бенчмарк?
Рекомендується перевіряти кожні 1–2 місяці або при випуску нової версії моделі, щоб відстежувати прогрес у креативних задачах.
Чи можна використовувати цей підхід для оцінки моделей у галузі фінансів або медицини?
Так, принцип однаковi: замість ігор можна генерувати прості фінансові моделі, діаграми або медичні нотатки, залежно від потреб бізнесу.
Підтекст
Автор критикує традиційні числові бенчмарки як нудні та менш інформативні для оцінки реальної здатності LLM. Він пропонує фокусуватися на креативних завданнях, таких як генерація ігор, щоб побачити практичний прогрес. Це сигнал, що бізнес може краще оцінювати AI-інструменти через їхню здатність вирішувати конкретні креативні завдання.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me