PSSA: не-трансформерна мовна модель, написана з нуля на Rust

TL;DR

• •Мовна модель PSSA написана на Rust без використання трансформерної архітектури
• •Використовує рекурентний становий простір та епізодичну пам'ять для навчання
• •Заявляється про генерацію тексту у 12 разів швидше за параметр-еквівалентний трансформер на тому ж процесорі
• •Джерельний код доступний на GitHub: github.com/Sparticle62ops/pssa
• •Позиціонується як дослідницький прототип, а не готовий продукт для комерційного використання

Як це змінить ваш ринок?

Прямого впливу на ринок немає, оскільки PSSA не є комерційним продуктом. Однак, як дослідницький прототип альтернативної архітектури мовних моделей, він може спонукати дослідников до експериментів з не-трансформерними підходами. Це важливо для довгострокової конкуренції з доминируючими трансформерами в галузі NLP.

Визначення: Не-трансформерна мовна модель — мовна модель, яка не використовує самовниманість (self-attention) як основний механізм обробки послідовностей, а замість цього використовує інші архітектури, такі як рекурентні мережі або станові простори.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

Не рекомендується для комерційного впровадження через відсутність готового продукту, документації та підтримки. Для дослідників: потрібна знання Rust та досвід роботи з мовними моделями, час на оцінку — 1-2 тижні.

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 | з колонками: Ціна, Де працює, Мін. вимоги, Ключова різниця.

| | GPT-2 (маленький) | PSSA (прототип) | Llama.cpp 7B | | Ціна | безкоштовно (MIT) | дані не розкриті (вихідний код) | безкоштовно (MIT) | | Де працює | CPU/GPU через Hugging Face | CPU (Rust binary) | CPU/GPU через llama.cpp | | Мін. вимоги | Python, PyTorch | Rust toolchain | C++ компілятор, 8GB RAM | | Ключова різниця | Трансформерна архітектура | Рекурентний становий простір + епізодична пам'ять | Оптимізований трансформер для CPU |