Nvidia представила Nemotron 3.5 Lightning та NeMo Switchyard

TL;DR

• •NVIDIA представила Nemotron 3.5 Lightning — 30B MoE модель, оптимізована для агентних задач.
• •Швидкість генерації зросла до 4 разів порівняно з попередніми версіями.
• •Одновременно випущено NeMo Switchyard — відкриту бібліотеку для маршрутизації запитів до кращої моделі у смесі.
• •Обидва компоненти доступні під ліцензією Apache 2.0.
• •Призначені для використання в дослідженнях та продакшн-средовищах з GPU-підтримкою.

Як це змінить ваш ринок?

Введення відкритих великих моделей та інструментів маршрутизації зменшує залежність від закритих API, таких як GPT-4, і дозволяє компаніям контролювати витрати на інференс. Для виробничих підприємств це означає можливість впроваджувати агентні системи для оптимізації логістики та контролю якості без передачі даних третім сторонам. У результаті фірми зможуть скоротити витрати на хмарні послуги на 30‑40 % при збереженні або покращенні продуктивності. Крім того, відкриті моделі сприяють створенню власних інтелектуальних продуктів, що підвищує конкурентоспроможність на ринку. Компанії, які мають внутрішні ML‑команди, можуть швидко адаптувати Nemotron 3.5 під свої специфічні workflow, що скорочує час виведення нових функцій на ринок.

Визначення: MoE (Mixture of Experts) — архітектура, де модель розбита на數 экспертних субмоделей, а маршрутизатор вибирає лише частину їх для кожного токену, що зменшує обчислювальні витрати при збереженні високої якості.

Для кого це і за яких умов

30B варіант: потребує GPU з принаймні 24 GB пам’яті (наприклад, RTX 4090 або A100) для комфортного інференсу при повному навантаженні; 7B‑12B варіанти можуть працювати на робочих станціях з 16 GB RAM. Потрібна базова команда ML‑інженерів для налаштування контейнера та інтеграції NeMo Switchyard. Час на впровадження — від 1 до 3 днів для тестування та налаштування, якщо вже є інфраструктура GPU. Для компаній без власних GPU‑ресурсів варто розглянути хмарні провайдери з оплатой за секунду використання; оціночна вартість інференсу на таких платформах становить від $0,40 до $0,80 за 1M токенів залежно від типу інстансу.

Альтернативи