Kolibri-1-BF16: 78B параметрова MoE-модель з контекстом 1M токенів

TL;DR

• •78B параметрова MoE-модель Kolibri-1-BF16
• •Контекст 1M токенів, підтримка виклику інструментів
• •Доступна на Hugging Face з ліцензією Apache 2.0
• •Випущена Aleph Alpha 2026-10-16
• •Вимоги: кластер GPU для ефективного інференсу

---

Як це змінить ваш ринок?

Банки та медичні установи зможуть експериментувати з超длинним контекстом для аналізу довгострокових договорів або лікарських записів без передачі даних третім сторонам, що зменшує ризик у регульованних галузях.

Визначення:

MoE (Mixture-of-Experts) — архітектура нейронної мережі, де лише частина параметрів активна на кожному кроці, що зменшує обчислювальні витрати при збереженні високої ємності моделі.

Для кого це і за яких умов

78B MoE: кластер з 4x GPU A100 40GB або еквівалент, IT-спеціаліст з досвідом у оптимізації моделей, 3-5 днів на налаштування. Без цього — тільки для досліджень.

Альтернативи

---