FreeToken дозволяє запускати сучасни моделі LLM на ігровому ПК з високою швидкістю

Вчені з UC Berkeley, MIT та UT Austin відкрили код FreeToken — системи для запуску великих MoE-моделей на звичайних ПК за допомогою динамічного розподілу обчислень між GPU, CPU та ОЗП. Це дозволяє бізнесу запускати потужні LLM локально без дорогих серверів, зменшуючи витрати на інференс та збільшуючи конфіденційність даних.