Ключова позиція-конфаунд у no-cot-bench (та наслідки для інтерпретації петляючих трансформерів)

TL;DR

• •Виявлено ключову позицію-конфаунд у бенчмарку no-cot-bench
• •Конфаунд завышує оцінки глибини розуміння моделей
• •Після корекції глибина GPT-6.1 Sol зменшується на 16%
• •Проблема пов'язана з розміщенням ключових токенів у тесті
• •Це методологічна заувага, а не про новину модель

Як це змінить ваш ринок?

Для дослідників та компаній, які використовують бенчмарки для оцінки моделей, це сигнал перевіряти методики оцінки. Якщо не ураховувати такі конфунди, можна приймати невірні рішення про вибір моделей на основі завеличених показників. Це особливо важливо для галузей, де точність оцінки моделей критична: фармацевтика, фінанси, автономні системи.

Визначення: key-position confound — систематична помилка у дизайні тесту, коли позиція ключових елементів у послідовності впливає на результат тесту не через реальну здатність моделі, а через артефакт умов вимірювання.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

Це не продукт, а методологічна заувага — не потрібне спеціальне обладнання або бюджет. Потрібна команда з досвідом у оцінці моделей або доступ до консультантів. Масштаб: будь-який, хто використовує бенчмарки для порівняння моделей. Час на впровадження: 1-2 години на перегляд методології оцінки.

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 | з колонками: Ціна, Де працює, Мін. вимоги, Ключова різниця.

| Методологічна перевірка | Внутрішній аудит бенчмарків | Наймання зовнішнього експерта | Використання альтернативних бенчмарків | | Працездатний штат | Безкоштовно | $2000-5000 за аудит | Залежить від ліцензії | | Внутрішні процеси | Залежить від інфраструктури | Зовнішній консультант | Наприклад, BigBench, MMLU | | Потрібна аналітична команда | Залежить від доступу до даних | Експерт у ML-оцінці | Інші метрики розуміння | | Виявлення конфундів у тестах | Швидка перевірка дизайну тесту | Глибокий аналіз методології | Уникнення специфічних артефактів |