DeepX анонсував чіп для інференсу моделей до 100 млрд параметрів при споживанні менше 5 Вт
Компанія DeepX випустила другий чіп DX-M2, який дозволяє виконувати інференс моделей до 100 млрд параметрів при споживанні менше 5 Вт. Це надає бізнесу можливість запускати великі ШІ-моделі на енергоефективному обладнанні без великих дата-центрів.
🔬 Дослідження, а не продукт. Цікаво для компаній, які будують власне обладнання для ШІ, але для тих, хто просто використовує ШІ, тут немає нічого для дії.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Чіп DX-M2 другого покоління від DeepX знаходиться на етапі tape out.
- •Підтримує інференс моделей до 100 млрд параметрів.
- •Споживає менше 5 Вт енергії.
- •Використовує пам'ять Samsung LPDDR5x PIM.
- •Заявляється приріст продуктивності в 6,7 разів.
Як це змінить ваш ринок?
Виробники обладнання зможуть пропонувати пристрої для запуску великих ШІ-модель без великих дата-центрів. Це знімає блокер високих енергозатрат для компаній, які хочуть тримати дані локально.
Визначення: Tape out — фінальний етап проєктування чіпа перед його виготовленням на заводі.
Для кого це і за яких умов
Для компаній, які розробляють власне обладнання для ШІ. Потрібна інженерна команда з досвідом роботи з чіпами. Мін. масштаб — середній бізнес з бюджетом на R&D. Час на впровадження — дані не розкриті.
Альтернативи
| Продукт 1 | Продукт 2 | Продукт 3 | |
|---|---|---|---|
| Ціна | дані не розкриті | дані не розкриті | дані не розкриті |
| Де працює | локально | локально | хмара |
| Мін. вимоги | спеціальний чіп | GPU | браузер |
| Ключова різниця | низьке споживання енергії | висока продуктивність | доступність |
💬 Часті запитання
Чи можна купити цей чіп зараз?
Ні, чіп знаходиться на етапі виробництва, комерційний реліз ще не відбувся.
Для яких моделей підходить чіп?
Для моделей до 100 млрд параметрів, як заявляє виробник.
Яке споживання енергії?
Менше 5 Вт, за даними статті.
Хто це для?
Для виробників обладнання і компаній з власними інженерними командами.
Підтекст
Це сигнал про рух до локального інференсу великих моделей на низькому споживанні енергії. Для виробників обладнання це можливість зайти в нічну сегмент енергоефективних ШІ-чипів.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me