Cursor відкриває код Mixture-of-Kittens (MoK) – мегаядро навчання MoE для NVL72s

TL;DR

• •MoK фуззує всі операції MoE в одне детерміноване ядро, усуваючи необходимішуючи необходимість розділених ядер.
• •Тестування показало прискорення до 2,37× над найсильнішими публічними базами для аналогічних навантажень.
• •В продакшені Cursor зафіксував збільшення пропускної здатності навчання на 1,41× порівняно зі стеком DeepEP.
• •Ядро вже використовується на десятках тисяч GPU у навчальних кластерах компанії.
• •Ліцензія відкритого коду – MIT, дозволяє вільне використання, модифікацію та розповсюдження.

Як це змінить ваш ринок?

Відкриття MoK дає можливість компаніям, які володіють кластерами NVL72, знизити енергоспоживання та час тренування MoE-моделей без придбання дорогих пропрієтарних ядер. Це може змінити баланс сил у сфері AI-інфраструктури, де наразі dominerють закриті рішення від великих хмарних провайдерів.

Визначення: Mixture-of-Kittens (MoK) — мегаядро, що об’єднує всі етапи обміну даними та обчислень у навчанні моделей Mixture-of-Experts в один детермінований блок.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження)

• •Потрібний доступ до кластерів GPU NVL72 або сумісних архітектур з підтримкою низкорівневого доступу до ядра.
• •Потреба в команді інженерів з досвідом оптимізації ядер та роботи з CUDA/PTX.
• •Мін. масштаб – кілька сотень GPU для отримання вигоди; менші інсталяції не показують значного прискорення.
• •Час на впровадження – від 1 до 2 тижнів для інтеграції і тестування на існуючому пайплайні навчання.

Альтернативи