Edge0-120B-q3k: модель з 120 млрд параметрів для запуску на потребительських GPU
Опубліковано модель Edge0-120B-q3k з 120 млрд параметрів, яка працює на звичайних відеокартах. Це дозволяє запускати великі моделі ШІ без дорогої серверної інфраструктури.
🔬 Експериментальний інструмент. Для компаній на 10-50 людей це не готове рішення, а репозиторій для технічної команди, яка може самостійно розгортати та налаштовувати модель.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Модель має 120 млрд параметрів та архітектуру latent MoE.
- •Навчання проведено нативно в 4 біти.
- •Розгортання можливе на потребительських відеокартах.
- •Розмір контексту становить 256К токенів.
- •Швидкість декодування агентів — 144,6 токенів на секунду на RTX 5090 D.
Як це змінить ваш ринок?
Локальний запуск великих моделей знімає блокер передачі даних стороннім провайдерам API. Компанії з чутливою інформацією можуть аналізувати документи всередині своєї інфраструктури, не відправляючи їх у хмару.
Визначення: MoE (Mixture of Experts) — архітектура моделі, де для кожного запиту активуються лише частини нейронної мережі, що зменшує обчислювальні витрати.
Для кого це і за яких умов
Потрібна власна технічна команда з досвідом роботи з GPU та ШІ. Мін. обладнання: потребительська відеокарта класу RTX 5090 D. Час на впровадження: кілька днів роботи інженера. Для компаній без IT-відділу це не придатний інструмент.
Альтернативи
| Продукт 1 | Продукт 2 | Продукт 3 | |
|---|---|---|---|
| Ціна | дані не розкриті | дані не розкриті | дані не розкриті |
| Де працює | локально на GPU | хмарне API | хмарне API |
| Мін. вимоги | GPU з великою пам'яттю | інтернет, підписка | інтернет, підписка |
| Ключова різниця | відкрита модель, самостійне розгортання | готовий сервіс, підписка | готовий сервіс, підписка |
💬 Часті запитання
Чи підходить модель для малого бізнесу без IT-команди?
Ні. Це репозиторій для технічних спеціалістів, а не готовий сервіс з інсталятором та підтримкою.
Яка вартість використання?
Ціна не оголошена, але власна інфраструктура вимагає витрат на обладнання та електроенергію.
Чи можна використовувати модель для обробки чутливих даних?
Так, оскільки розгортання відбувається локально, дані не виходять за межі вашої мережі.
Підтекст
Випуск такої моделі сигналізує про рух до локального розгортання великих ШІ. Це вигідно розробникам, хто хоче уникнути залежності від платних API та зменшити витрати на обробку даних.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me