Qwen 3.8 краще та дешевше вирішує юридичні завдання, ніж Opus 4.8
Стартап Engram та Harvey показали, що модель Qwen 3.8‑27B, навчена на синтетичних юридичних даних, стискає 100 млн токенів до 1 млн токенів нотаток і досягає вищої точності за нижчою вартістю. Це дозволяє юридичним фірмам зменшити витрати на AI‑консультації приблизно dziesięcioкратно, залишаючи дані всередині компанії.
🔬 Періодичний результат. Для юридичних фірм з великими масивами даних, які мають можливість fine-tune моделі, це показує, як знизити витрати на запити до AI.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Qwen 3.8-27B fine-tuned on 100 млн токенів синтетичних юридичних даних стиснуто до 1 млн токенів нотаток.
- •На метриці інтелекту на токен модель набирає 190,8 балів/100 к токенів проти 129,3 у Opus 4.8.
- •Відset повністю правильних відповідей – 30 % у кастомній моделі проти 25 % у Opus 4.8.
- •Вартість одного запиту зменшилася з $1,32 до $0,13 (≈10× дешевше).
- •Після навчання модель правильно відповідає на питання про фірму без зовнішніх інструментів у 72,6 % випадків (проти 4,7 % до тренування).
Як це змінить ваш ринок?
Банки та юридичні фірми зможуть зменшити витрати на AI‑консультації, залишаючи дані всередині компанії, що зменшує залежність від зовнішніх API та покращує конфіденційність.
Визначення:
Fine‑tuning LoRA — метод оновлення лише маленької частини ваг моделі через низкорангові матриці, що дозволяє швидко адаптувати великі мовні моделі до специфічних задач без повного переобучения.
Для кого це і за яких умов
- •7B версія: MacBook 16 ГБ, без IT‑команди, 15 хв на інференс.
- •27B версія: GPU $2 000+ або хмара ~$0,5/год, IT‑спеціаліст, 1‑2 дні на підготовку та fine‑tuning.
Альтернативи
| Продукт | Ціна за 1 M токенів | Де працює | Мін. вимоги | Ключова різниця |
|---|---|---|---|---|
| Qwen 3.8‑27B (fine‑tuned) | $0,13 за запит (≈$1,30 за 1 M токенів) | Локально/хмара | GPU 24 ГБ або еквівалент | Власне fine‑tuning на юридичних даних, зниження витрат |
| Opus 4.8 (OpenRouter) | $1,32 за запит (≈$13,20 за 1 M токенів) | API OpenRouter | Інтернет‑з’єднання | Пропрієтарна модель, готові до використання |
| GPT-4o (Azure) | $2,50 за запит (оцінка) | API Azure | Інтернет‑з’єднання | Вища загальна точність, але вища вартість |
💬 Часті запитання
Чи потрібна власне GPU для запуску такої моделі?
Для інференсу 27B потрібна GPU з 24 ГБ пам’яті або еквівалентна хмарна інстанція; менші версії (7B) працюють на MacBook 16 ГБ.
Чи можна застосовувати цей підхід до галузей, інших ніж право?
Так, метод fine‑tuning зі стисненням нотаток підходить до будь‑якої галузі зі структурованими даними (фінанси, медицина), проте потрібен репрезентативний синтетичний датасет для навчання.
Чи є обмеження на розмір контексту після стиснення?
Вихідних 100 млн токенів стиснуто до 1 млн токенів нотаток, що обмежує максимальний контекст до приблизно 800 слів у чистому тексті; для дуже довгих документів може знадобитися сегментація.
Підтекст
Стартап Engram демонструє, що власне fine-tuning відкритих моделей може значно знизити затрати на юридичний AI, робити його доступним для середніх фірм. Однак підхід вимагає значих обчислювальних ресурсів для підготовки даних та тренування, що може бути бар’єром для малих команд. Тобто це сигнал про зростаючу конкуренцію між пропрієтарними API та кастомними відкритими моделями у ниші legaltech.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Machinelearning — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me