Розділяйте задачі, а не код

TL;DR

• VK використовує стріми — окремі конвеєри для різних задач однієї рекомендаційної системи.

• Конвеєри збираються із спільних компонентів підбору кандидатів, фільтрації та обчислення ознак.

• Підхід дозволяє розвивати механіки незалежно без дублювання коду.

• Стаття описує внутрішню методологію VK, а не публічний продукт.

• Дані про метрики росту та конкретні результати не розкриті.

Як це змінить ваш ринок?

Публікація внутрішньої архітектури великої технічної компанії сигналізує про тенденцію до модульності в ML-конвеєрах. Для компаній на 10-50 людей це не змінює нічого: таких обсягів даних і кількості задач нема, щоб виправдувати окремі конвеєри.

Визначення: стрім (stream) — окремий конвеєр обробки даних із власними налаштуваннями, зібраний із спільних компонентів.

Для кого це і за яких умов

Це актуально для компаній з власною ML-командою, великими обсягами даних і десятками рекомендаційних задач. Для бізнесу до 200 людей це надмірна складність: простіші інструменти дадуть аналогічний результат за менші витрати.

Альтернативи