Inkling-Small-NVFP4

TL;DR

• •Модель Inkling-Small має 276 B параметрів і використовує MoE‑архітектуру з 64 експертами.
• •Підтримує мультимедійний ввід: текст, зображення та аудіо.
• •Використовує числовий формат NVFP4, що зменшує вимоги до пам’яті приблизно вдвічі.
• •Оптимізована для інференсу на GPU NVIDIA Hopper (H100/H200) і доступна на Hugging Face під ліцензією Apache 2.0.
• •Не включає навчальний код — лише ваги для інференсу, що вимагає зовнішнього фреймворку для запуску.

Як це змінить ваш ринок?

Для медіа‑компаній Inkling-Small відкриває можливість створювати власних мультимедійних агентів, які можуть аналізувати відео, генерувати підписи та відповідати на запити користувачів без передачі даних стороннім сервісам. Це зменшує витрати на комерційні API та покращує відповідність вимогам захисту даних, особливо в європейській юрисдикції. Через NVFP4‑формат модель може розміщуватися на одному сервері з двома GPU H100, що робить її доступною для середніх бізнес‑підприємств з бюджетом на обладнання.

Визначення: MoE (Mixture‑of‑Experts) — архітектура, де модель поділена на數 экспертів, а кожен токен обробляється лише підмножиною їх, що зменшує обчислювані витрати. Визначення: NVFP4 — 4‑бітовий плаваючопoint формат, розроблений NVIDIA для зменшення пам’яті та пропускної здатності при збереженні достатньої точності для інференсу великих моделей.

Для кого це і за яких умов

Для запуску повної 276B версії потрібен сервер з двома GPU NVIDIA H100 (по 80 GB VRAM кожна) або еквівалентна конфігурація з підтримкою NVFP4, ОС Linux та фреймворк TensorRT‑LLM. Якщо використовувати агресивне квантування до 4‑бітової точності, вимоги падають до однієї GPU H100 з 80 GB. Потрібна інженер‑DevOps з досвідом розгортання LLM‑сервісів, очікуваний час впровадження — 1‑2 дні для тестування та налаштування. Бюджет на обладнання — від $12 000 за GPU, плюс витрати на енергію та охолодження.

Альтернативи