Хто перший побудує датацентр на PS5? На джейлбрейкнутій консолі запустили llama.cpp з Qwen 3.8 27B на швидкості 20 токенів/сек

TL;DR

• •Запущено llama.cpp на джейлбрейкнутій PS5
• •Модель Qwen 3.8 27B працює зі швидкістю 20 токенів/сек
• •Експеримент демонструє потенціал споживацького заліза для AI
• •Практична користь для бізнесу відсутня через низьку продуктивність
• •Джейлбрейк може аннулирувати гарантію та порушувати умови використання

---

Як це змінить ваш ринок?

Ця новина не змінює ринок AI-інструментів для бізнесу. Вона підкреслює ентузіазм спільноти щодо локального запупу моделей, але не пропонує жодної нової можливості для компаній, які шукають стабільні, продуктивні та законні рішення. Блокер у вигляді недостатньої продуктивності консолі залишається непреодільним для комерційного використання.

Визначення:

llama.cpp — це бібліотека з відкритим вихідним кодом для ефективного запуску великих мовних моделей на локальному залізі за допомогою квантування та оптимізації.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

Цей експеримент не призначений для бізнес-використання. Для локального запуску 7B моделей потрібен ноутбук з 16GB RAM, а для 27B — GPU з 24GB VRAM або хмарний сервіс (~$0.5/год). PS5 не задовольняє ці вимоги через обмежений доступ до пам’яті та архитектуру.

Альтернативи

---