LLM втрачають близько 25% вмісту документів під час тривалого редагування

TL;DR

• •Дослідження Microsoft Research показало, що LLM втрачають близько 25% вмісту документів після 20 послідовних редагувань.
• •Найкращий результат показала Gemini 3.1 Pro, але вона готова до делегування лише в 11 з 52 областей.
• •Програмування на Python є єдиною областю, де більшість моделей працюють майже без втрат.
• •Підключення агентських інструментів не покращує результат, а в середньому додає близько 6% втрат.
• •Втрати розподілені нерівномірно: модель часто працює майже бездоганно, але час від часу допускає різкий збій.

Як це змінить ваш ринок?

У сфері освіти, де LLM використовуються для автоматизації створення та редагування навчальних матеріалів, ризик втрати контенту може призвести до неточностей та помилок у підручниках та інших ресурсах. Це вимагає додаткової перевірки та корекції, що збільшує час та вартість розробки навчальних матеріалів.

LLM (Large Language Model): велика мовна модель — це тип штучного інтелекту, який використовує глибоке навчання для обробки та генерації людської мови.

Для кого це і за яких умов

Для використання LLM для редагування документів потрібна IT-команда для налаштування та підтримки. Мінімальний масштаб: будь-який, але для критично важливих документів потрібна ручна перевірка. Час на впровадження: від кількох днів до тижнів, залежно від складності налаштування.

Альтернативи