AI News
ДІЇ НЕМАПозитивнаImpact 4/10BetaВід 50 людей

AMD випустила Qwen3.8-Flash-Next у форматі MXFP4 для ROCm

Редакція AI NewsДжерело: Shir-man Daily TopОпубліковано Оновлено
Shir-man Daily Top•25 днів тому•0 переглядів•

AMD оприлюднила квантовану версію Qwen3.8-Flash-Next у форматі MXFP4 для експертів MoE з урахуванням уваги в bfloat16. Модель досягла 96,5% точності на GSM8K при запуску на ROCm 7.2.3 через vLLM.

ВердиктПозитивнаImpact 4/10

🔬 Експериментальний реліз для AMD GPU. 96,5% GSM8K на MXFP4 — гарний результат, але це репозиторій на Hugging Face, а не продукт з підтримкою. Для компаній до 200 людей без власної ML-команди це неінструмент: треба самому розібратися з деплоєм на ROCm, vLLM та перевіряти якість на своїх задачах.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •AMD виклав на Hugging Face Qwen3.8-Flash-Next у квантуванні MXFP4 для експертів MoE
  • •Увага залишена в bfloat16, решта — 4-біт MXFP4 (OCP стандарт)
  • •Точність 96,5% на GSM8K при інференсі через vLLM на ROCm 7.2.3
  • •Модель доступна лише як ваги: huggingface.co/amd/Qwen3.8-Flash-Next-Quark-MXFP4
  • •Жодної комерційної підтримки, SLA чи інсталятора — чистий репозиторій для експериментів

Як це змінить ваш ринок?

Для компаній, що розглядають AMD GPU як альтернативу NVIDIA для інференсу LLM, це сигнал: стек ROCm + vLLM дозволяє запускати сучасні MoE-моделі з агресивним квантуванням без критичної втрати якості. Але перехід вимагає інженерних ресурсів — це не «встановив і працює».

Визначення: MXFP4 — формат 4-бітного квантування з блоковим масштабуванням (OCP стандарт), що дає кращу точність за чистий INT4, але вимагає підтримки залізза.

Для кого це і за яких умов

  • •Мін. обладнання: AMD GPU (MI300X, MI250 тощо) з підтримкою MXFP4
  • •Мін. команда: ML-інженер, що знає ROCm, vLLM, квантування
  • •Мін. масштаб: компанії 50+ людей з власною ML-командою або аутсорсингом
  • •Час на впровадження: дні-тижні на налаштування, тестування якості, деплой
  • •Без IT-команди: не працює — це не SaaS, не API, не готовий інструмент

Альтернативи

Qwen3.8-Flash-Next MXFP4 (AMD/ROCm)Llama-3.1-8B-Instruct AWQ/INT4 (NVIDIA/CUDA)GPT-4o-mini (OpenAI API)
ЦінаБезкоштовно (ваги) + вартість GPU/хмариБезкоштовно (ваги) + вартість GPU/хмари$0,15/1M вхід, $0,6/1M вихід
Де працюєAMD GPU + ROCm 7.2.3+NVIDIA GPU + CUDAХмара, будь-де з інтернетом
Мін. вимогиAMD GPU з MXFP4, ROCm, vLLM, ML-інженерNVIDIA GPU, vLLM/TGI, менше нюансівAPI-ключ, 0 інфраструктури
Ключова різницяДемонстрація стеку AMD, експериментальнийЗріліший екосистема, більше прикладівГотовий продукт, SLA, плата за токени

💬 Часті запитання

Чи можна це використати без ML-інженера?

Ні. Це репозиторій з вагами. Потрібно самостійно розгорнути ROCm, vLLM, завантажити модель, налаштувати інференс, протестувати якість на своїх даних.

Яка економія порівняно з NVIDIA?

Дані не розкриті. AMD GPU дешевші за еквавалентні NVIDIA, але витрати на інженерний час для налаштування та підтримки ROCm можуть з'їсти різницю.

Чи підтримує модель українську мову?

Qwen3.8 базова підтримує багатомовність, але якість української у цій конкретній квантованій версії не тестувалася публічно — треба перевірити самостійно.

Є лицензія на комерційне використання?

Qwen ліцензія (Tongyi Qianwen) дозволяє комерційне використання з обмеженнями — перевірте офіційну ліцензію Qwen перед використанням у продакшені.

Чи це краще за GPT-4o-mini API?

Для задач, де критична конфіденційність даних і є GPU-ресурси — потенційно так. Для швидкого запуску без інфраструктури — ні, API швидше і надійніше.

Підтекст

AMD тисне на екосистему: показує, що їхні GPU + ROCm + vLLM тягнуть сучасні MoE-моделі з агресивним квантуванням. Ціль — залучити розробників, які шукають альтернативу CUDA, і довести, що MXFP4 на залізі AMD не вбиває якість. Комерційної підтримки тут нема — це демонстрація можливостей стеку.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
AMDQwenMXFP4ROCmquantizationMoEvLLM

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me