Ще один тревожний результат щодо можливостей Astra без Chain-of-Thought
Astra показала 31% точність на 4-hop та 70% на 3-hop питаннях без Chain-of-Thought, що значно перевершує інші моделі. Точність подвоюється при використанні заповнюючих токенів.
🔬 Цікаво для дослідження, але нема практичного застосування. Для тих, хто вивчає межі LLM — корисно розуміти, як техніки типу filler tokens впливають на оцінку моделей.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Astra досягла 31% на 4-hop та 70% на 3-hop no-CoT питаннях
- •Точність подвоюється при додаванні заповнюючих токенів
- •Результат значно кращий за інші моделі у цих тестах
- •Дані публіковані на LessWrong, джерело — Denis Trends
- •Тест оцінює логічне розumіння без послідовного розв’язку
Як це змінить ваш ринок?
Для компаній, що оцінюють AI-моделі за бенчмарками, цей результат сигналізує: високі бали на no-CoT тестах можуть не відображати справжнього розуміння. Це зменшує довіру до таких оцінок у сфері освіти та HR, де моделі використовуються для оцінки знань або навичок.
Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.
Ця новина не описує продукт, який можна впровадити. Це дослідження про поведінку моделей. Для аналізу таких результатів потрібен доступ до моделей Astra або подібних, технічна здатність запускати нетривіальні промпти та знання у оцінці AI. Масштаб — будь-який, але без IT-спеціаліста або дослідницької команди застосувати інсайти неможливо.
Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 | з колонками: Ціна, Де працює, Мін. вимоги, Ключова різниця.
| Альтернатива | Astra-подібні моделі | Стандартні LLM з CoT | Людська оцінка | | Ціна | дані не розкриті | варіюється | варту година роботи | | Де працює | локально/API | локально/API | будь-де | | Мін. вимоги | GPU 24GB+ | GPU 12GB+ | освіта | | Ключова різниця | Високі no-CoT бали через статистичні ефекти | Послідовне розв’язку задач | Способність пояснити логіку |
💬 Часті запитання
🔒 Підтекст (Insider)
Цей результат підкреслює, наскільки оцінки LLM можуть бути чутливими до форматування запитів. Це не про покращення розуміння, а про експлуатацію метрик — важливо для тих, хто залежить від бенчмарків при оцінці моделей.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналНавчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live