Show HN: Parsimony – відкритий бенчмарк для вимірювання надмірного коду, який додають моделі ШІ

TL;DR

• •Парсимоні вимірює надмірність коду ШІ, рахунком операторів та викликів функцій
• •Бенчмарк відкритий, код доступний на GitHub через parsimony.lasu.dev/
• •Він карає зайвий код, сприяючи ефективності генерації
• •Не вимагає GPU або спеціалізованого обладнання для запуску
• •Призначений для дослідників та розробників, що оптимізують ШІ

---

Як це змінить ваш ринок?

Для інструментів генерації коду ШІ тепер є спосіб порівняти не тільки правильність, а й ефективність виводу. Це може змушити постачальників API оптимізувати свої моделі за розміром та швидкістю коду, а не тільки за якістю. У сфері автоматизації розробки це додає новий критерій вибору — менше коду означає менше вартості підтримки та швидший код-рев'ю.

Визначення: Парсимоні — це відкритий бенчмарк, який вимірює «кодовий бут» AI-моделей, рахунком синтаксичних елементів (оператори, вирази, виклики функцій) у згенерованому коді, щоб знизити надмірність та покращити ефективність.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Для запуску бенчмарка достатньо ноутбука з 8ГБ ОЗУ та Python 3.8+
• •Не потрібна IT-команда — один розробник може запустити тести за 10-15 хвилин
• •Масштаб: будь-який, від окремого розробника до команди
• •Час на впровадження: менше години для інтеграції в CI/CD або локального тестування

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 |

| Ціна | безкоштовно | безкоштовно | безкоштовно | | Де працює | локально, будь-яка ОС | локально, будь-яка ОС | локально, будь-яка ОС | | Мін. вимоги | Python 3.8+, доступ до інтернету | Node.js 16+, доступ до інтернету | Java 11+, доступ до інтернету | | Ключова різниця | рахує оператори та виклики | рахує токени та довжину рядків | рахує цикли та умови |