Користувач тестує AI моделі e2b та e4b на Google Pixel 9 з GPU
Користувач протестував AI моделі e2b та e4b з міркуваннями та без на Google Pixel 9, використовуючи GPU. Результатом задоволений, особливо моделлю e4b через співвідношення швидкості та результату, але зауважив, що чати не зберігаються в додатку Google AI Edge Gallery.
🔬 Перші тести. Локальні LLM стають доступнішими на мобільних пристроях, але є обмеження по функціональності.
🟢 МОЖЛИВОСТІ
- Запуск локальних LLM на мобільних пристроях без потреби в хмарних сервісах
- Оптимізація моделей для роботи на GPU мобільних пристроїв
- Можливість використовувати AI моделі в умовах обмеженого інтернет-з'єднання
🔴 ЗАГРОЗИ
- Обмежені обчислювальні ресурси мобільних пристроїв
- Відсутність збереження чатів в Google AI Edge Gallery
- Необхідність оптимізації моделей для забезпечення прийнятної швидкості роботи
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Користувач протестував моделі e2b та e4b на Google Pixel 9.
- •Тестування проводилось з використанням GPU.
- •Модель e4b показала краще співвідношення швидкості та результату.
- •У додатку Google AI Edge Gallery не зберігаються чати.
- •Моделі тестувались з міркуваннями та без.
Як це змінить ваш ринок?
Для eCommerce це означає можливість обробки запитів клієнтів безпосередньо на пристрої, що підвищує конфіденційність та швидкість. Блокером завжди була необхідність у хмарних обчисленнях, тепер це можливо локально.
Локальна LLM: — велика мовна модель, яка працює безпосередньо на пристрої користувача, а не в хмарі.
Для кого це і за яких умов
7B модель може працювати на сучасних смартфонах з GPU. Для розгортання потрібен мінімальний досвід роботи з AI, час на впровадження - кілька годин.
Альтернативи
| Локальні LLM | Хмарні LLM (GPT-4o) | Google AI Edge Gallery | |
|---|---|---|---|
| Ціна | Безкоштовно | $20/мільйон токенів | Дані не розголошуються |
| Де працює | Локально | Хмара | Локально |
| Мін. вимоги | Смартфон з GPU | Будь-який пристрій | Google Pixel |
| Ключова різниця | Конфіденційність | Потужність | Інтеграція з Google |
💬 Часті запитання
🔒 Підтекст (Insider)
Google намагається наздогнати конкурентів у сфері AI на мобільних пристроях. Це може відкрити нові можливості для розробників та користувачів, але поки що є певні обмеження.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live