AI News
ДІЇ НЕМАНейтральнаImpact 5/10BetaВід 50 людей📊 Маркетинг і Реклама

Edge0-120B-q3k: модель з 120 млрд параметрів для запуску на потребительських GPU

Редакція AI NewsДжерело: Shir-man TrendingОпубліковано Оновлено
Shir-man Trending•7 днів тому•2 перегляди•

Опубліковано модель Edge0-120B-q3k з 120 млрд параметрів, яка працює на звичайних відеокартах. Це дозволяє запускати великі моделі ШІ без дорогої серверної інфраструктури.

ВердиктНейтральнаImpact 5/10

🔬 Експериментальний інструмент. Для компаній на 10-50 людей це не готове рішення, а репозиторій для технічної команди, яка може самостійно розгортати та налаштовувати модель.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •Модель має 120 млрд параметрів та архітектуру latent MoE.
  • •Навчання проведено нативно в 4 біти.
  • •Розгортання можливе на потребительських відеокартах.
  • •Розмір контексту становить 256К токенів.
  • •Швидкість декодування агентів — 144,6 токенів на секунду на RTX 5090 D.

Як це змінить ваш ринок?

Локальний запуск великих моделей знімає блокер передачі даних стороннім провайдерам API. Компанії з чутливою інформацією можуть аналізувати документи всередині своєї інфраструктури, не відправляючи їх у хмару.


Визначення: MoE (Mixture of Experts) — архітектура моделі, де для кожного запиту активуються лише частини нейронної мережі, що зменшує обчислювальні витрати.


Для кого це і за яких умов

Потрібна власна технічна команда з досвідом роботи з GPU та ШІ. Мін. обладнання: потребительська відеокарта класу RTX 5090 D. Час на впровадження: кілька днів роботи інженера. Для компаній без IT-відділу це не придатний інструмент.


Альтернативи

Продукт 1Продукт 2Продукт 3
Цінадані не розкритідані не розкритідані не розкриті
Де працюєлокально на GPUхмарне APIхмарне API
Мін. вимогиGPU з великою пам'яттюінтернет, підпискаінтернет, підписка
Ключова різницявідкрита модель, самостійне розгортанняготовий сервіс, підпискаготовий сервіс, підписка

💬 Часті запитання

Чи підходить модель для малого бізнесу без IT-команди?

Ні. Це репозиторій для технічних спеціалістів, а не готовий сервіс з інсталятором та підтримкою.

Яка вартість використання?

Ціна не оголошена, але власна інфраструктура вимагає витрат на обладнання та електроенергію.

Чи можна використовувати модель для обробки чутливих даних?

Так, оскільки розгортання відбувається локально, дані не виходять за межі вашої мережі.

Підтекст

Випуск такої моделі сигналізує про рух до локального розгортання великих ШІ. Це вигідно розробникам, хто хоче уникнути залежності від платних API та зменшити витрати на обробку даних.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
Edge0-120BMoELLMconsumerGPU4-bitquantization

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me