DeepSeek v4.1 flash працює зі швидкістю 23 секунди на токен на Mac Mini M1 2020 року з 16 ГБ ОЗУ

TL;DR

• •Модель: DeepSeek V4.1 flash
• •Апаратне забезпечення: Mac Mini M1, 16 ГБ ОЗУ (2020)
• •Швидкість: 23 секунди на токен, 108 секунд TTFT
• •Техніка: ваги FP4/FP8, MLX-запускник, потокове завантаження з SSD
• •Джерело: пост у X (Twitter) від @thefp4brain

Як це змінить ваш ринок?

Це не zmінить ринок для бізнесу. Такі результати важливі для дослідників, що працюють над стисненням моделей та edge-обчисленнями, але не пропонують практичного шляху до локального AI для компаній через ekstremalно низьку продуктивність.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Для дослідників: ноутбук або Mac з 16 ГБ ОЗУ, навички роботи з MLX та терміналом, 1-2 години на налаштування
• •Для бізнесу: не призначено — продуктивність недостатньо висока для будь-яких реальних задач

Альтернативи

| | Ollama з Llama 3 8B | LM Studio з Phi-3-mini | DeepSeek V4.1 flash (цей тест) | Ціна | безкоштовно | безкоштовно | безкоштовно (опенсорс) | Де працює | Mac, Windows, Linux | Mac, Windows, Linux | Mac (MLX), Linux ( експериментально ) | Мін. вимоги | 8 ГБ ОЗУ | 4 ГБ ОЗУ | 16 ГБ ОЗУ + M1/M2 чип | Ключова різниця | 0.5-1 сек/токен | 0.3-0.6 сек/токен | 23 сек/токен — лише для досліду стиснення