Оновлено бенчмарк Agentic E-Commerce ECOM1-DEV BitGN для тестування LLM-агентів

TL;DR

• •Додано дві нові задачі.
• •Змінено існуючі задачі для ускладнення тестування.
• •Бенчмарк фокусується на виявленні шахрайства агентів.
• •Доступний за посиланням: https://bitgn.com/challenge/ecom
• •Розроблено @llm_under_hood.

Як це змінить ваш ринок?

Ринок Agentic E-Commerce потребує інструментів для забезпечення безпеки та етичності LLM-агентів. Цей бенчмарк дозволяє розробникам виявляти вразливості та покращувати поведінку агентів, що сприяє розвитку довіри до таких систем.

Agentic E-Commerce — електронна комерція, де LLM-агенти автоматично виконують завдання від імені користувачів, наприклад, пошук товарів, порівняння цін та здійснення покупок.

Для кого це і за яких умов

Для розробників LLM-агентів, дослідників у галузі штучного інтелекту та компаній, що займаються розробкою систем для Agentic E-Commerce. Необхідні знання в галузі машинного навчання та досвід роботи з LLM. Для запуску та аналізу результатів бенчмарку потрібні обчислювальні ресурси, залежно від складності моделей.

Альтернативи