AI News
ДІЇ НЕМАНейтральнаImpact 5/10BetaВід 50 людей

Edge0-145B-q3k: 145-міліардная MoE-модель працює на одному GPU

Редакція AI NewsДжерело: Shir-man TrendingОпубліковано Оновлено
Shir-man Trending•7 днів тому•2 перегляди•

З'явилася модель Edge0-145B з 145 мільярдами параметрів, яка працює на одному споживчому GPU. Це дозволяє запускати великі ШІ-моделі без дорогої інфраструктури дата-центрів.

ВердиктНейтральнаImpact 5/10

🔬 Експериментальний інструмент. Для компаній на 10-50 людей це не продукт для швидкого впровадження, а сигнал про можливість локального запуску великих моделей.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

• Модель має 145 мільярдів параметрів.

• Використовується архітектура sparse MoE.

• Точність навчання — 4 біти.

• Швидкість декодування — 121,2 токена в секунду на RTX 5090 D.

• Розміщено на Hugging Face.


Як це змінить ваш ринок?

Поява таких моделей зменшує залежність бізнесу від платних хмарних API для великих мовних моделей. Компанії з власними технологічними командами можуть розглянути самостійний деплой для підвищення конфіденційності даних. Для більшості SMB це все ще вимагає значних технічних ресурсів.

Визначення: MoE (Mixture of Experts) — архітектура нейронної мережі, де для обробки кожного запиту активуються лише частини моделі, що зменшує обчислювальні витрати.


Для кого це і за яких умов

Потрібне обладнання: споживчий GPU типу RTX 5090 D. Потрібна команда: так, інженер з досвідом роботи з ШІ. Мін. масштаб: компанія з власною IT-командою. Час на впровадження: кілька днів або тижнів.


Альтернативи

Продукт 1Продукт 2Продукт 3
Цінадані не розкритідані не розкритідані не розкриті
Де працюєлокально GPUхмарахмара
Мін. вимогиRTX 5090 Dбраузербраузер
Ключова різницявласний деплойготовий APIготовий API

💬 Часті запитання

Чи підходить ця модель для малого бізнесу без IT-отділу?

Ні, для її запуску та обслуговування потрібні технічні спеціалісти.

Яка швидкість роботи моделі?

121,2 токена в секунду на RTX 5090 D.

Підтекст

Випуск такої моделі сигналізує про зменшення залежності від дорогих хмарних API для роботи з великими мовними моделями.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
Edge0-145BMoELLMlocalAIGPU

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me