NVIDIA відкрила ваги моделі диаризації мови Nemotron 3

TL;DR

• •Модель Nemotron 3 Diarization має 100 млн параметрів
• •Доступна за ліцензією OpenMDW-1.1
• •Досігла DER 14,72% на Diarization-Bench
• •Обробляє аудіо зі швидкістю 865 сек/сек на RTX PRO 5000
• •Розпізнає до восьми говорящих одночасно

Як це змінить ваш ринок?

Для медіакомпаній та підкастових студій ця модель може зменшити витрати на ручну розмітку говорящих в аудіо, проте потребує інтеграції з ASR-системами та додатковою розробкою для зв’язку анонімних міток з реальними іменами.

Визначення: Діаризація мови — це процес розподілу аудіозапису на сегменти відповідно до того, хто говорить.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Потрібна команда: так, розробники з досвідом обробки аудіо та ML
• •Мін. масштаб: від 10 годин обробки аудіо на тиждень
• •Час на впровадження: 2-4 тижні для інтеграції з існуючими ASR-pipe
• •Мін. обладнання: GPU з 24GB+ пам’яттю для комфортного выводу

Альтернативи

| | Продукт 1 | Продукт 2 | Продукт 3 | | Ціна | $0.006/годину (AWS Transcribe) | безкоштовно (pyannote.audio) | дані не розкриті (Nemotron 3) | | Де працює | хмара | локально/хмара | локально | | Мін. вимоги | інтернет-з’єднання | GPU 16GB+ | GPU 24GB+ | | Ключова різниця | повністю керується сервісом | потребує налаштування | краща точність, але потребує інтеграції |