Xiaomi відкрила модель для табличних даних

Machinelearning•близько 2 годин тому•0 переглядів•

Xiaomi представила модель TabLDM для класифікації та регресії на табличних даних без потреби до донавчання. Вона використовує позначені рядки датасету як контекст для прогнозу нових рядків за один прохід.

ВердиктПозитивнаImpact 5/10

🔬 Цікаво для досліджень. Архитектура нова, але без готового API або SaaS-версії компанія на 10-50 людей не впровадить її саме.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •Модель TabLDM для табличних даних: класифікація та регресія без донавчання
  • •Розмір: 70 млн параметрів (класифікатор), 71 млн (регресор)
  • •Ліцензія: Apache 2.0
  • •Архитектура: триступенчатий трансформер з MoE та навчанням в контексті
  • •Результати: 2 місце на регресійній частині TabArena (1900 Elo)

Як це змінить ваш ринок?

Прямого впливу на ринок немає: це дослідження, а не продукт. Проте воно сигналізує, що великі технологічні компанії інвестують у спеціалізовані ШІ для таблиць, що може призвести до нових SaaS-рішень у фінансах та логістиці через 1-2 роки.

Визначення:

Навчання в контексті (in-context learning) — техніка, при якій модель використовує приклади з промпту як контекст для прогнозу, без оновлення ваг.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

Дана модель не є продуктом для впровадження: це дослідження. Для експериментів потрібен доступ до GPU з 24GB+ пам’яттю, навички роботи з PyTorch та час на адаптацію коду (1-2 тижні інженера).

Альтернативи

ПродуктЦінаДе працюєМін. вимогиКлючова різниця
TabLDMбезкоштовно (ваги)Локально/хмараGPU 24GB+, навички MLПерший опенсорс-трансформер від Xiaomi для таблиць з MoE
TabPFNбезкоштовно (для досліджень)ЛокальноCPU, PythonШвидше fit, але менш гнучкий до нових даних
AutoGluonбезкоштовноЛокально/хмараCPU, PythonАвтоматичний ML, менш прозорий, але готові пайплайни

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

7 днів безкоштовно
XiaomiTabLDMtabulardatain-contextlearningtransformerApache2.0

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiupskill.live