Tokle-SPAB-3M: Малюча модель з 2,9М параметрів та SPAB-смещення уваги

TL;DR

• •Модель Tokle-SPAB-3M має 2,9М навчальних параметрів
• •Використовує заморожену таблицю SPAB з PMI-оцінками для смещення уваги
• •Доступна на Hugging Face: huggingface.co/techdotus/Tokle-SPAB-3M
• •Отримала найкращі результати серед малих моделей на ARC та ArithMark
• •Статус: дослідження, не готовий продукт для продакшен

Як це змінить ваш ринок?

Для більшості компаній це нічого не змінює. Це дослідження архітектур уваги може надикнути academe на нові підходи до ефективності, але без готового інструменту, API або кейсів впровадження воно не вплине на ринок AI-інструментів для SMB. Банки, маркетинг або логістика не отримають від цього жодної прямої вигоды.

Визначення: PMI (Pointwise Mutual Information) — міра асоціації між двома подіями, тут використовується для оцінки сильного зв’язку між парами токенів у тексті.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

❌ «Підходить для компаній будь-якого розміру». ✅ Для дослідників NLP: ноутбук з 16GB RAM, знання PyTorch, 2-3 дні на відтворення експерименту. Для компаній: не застосовується без внутрішньої R&D-команди.

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 | з колонками: Ціна, Де працює, Мін. вимоги, Ключова різниця.

| Phi-3-mini | $0.15/1M токенів | Hugging Face API | 5GB VRAM | Майкрософт, оптимізована для скорості | TinyLlama | Безкоштовно (опенсорс) | Lokalно або API | 6GB RAM | 1,1B параметрів, хороша база для fine-tuning | Tokle-SPAB-3M | Дані не розкриті | Hugging Face репозиторій | 8GB RAM | Нова архітектура уваги на базі PMI, без API чи підтримки