Show HN: Janus – Go бінарник, що запускає GGUF-моделі через Vulkan на AMD/Intel/Nvidia
Janus — це один Go бінарник, що запускає GGUF-моделі локально через Vulkan або CPU. Він надає OpenAI-сумісний API для інструментів типу Cursor, підтримуючи горячу заміну моделей без залежностей.
🔬 Цікаво для експериментів. Vulkan-запуск 7B моделей на ноутбуці — альтернатива Ollama для тих, кому потрібна контроль над бекендом. Для продакшену — чекайте стабільності.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Janus — це один Go бінарник без зовнішніх залежностей
- •Підтримує запуск GGUF-моделей через Vulkan (AMD/Intel/Nvidia) або CPU
- •Надає OpenAI-сумісний API з горячою заміною моделей
- •Проєкт з відкритим вихідним кодом на GitHub (licence не вказано)
- •Підходить для експериментів з локальними LLM на ноутбуці або робочій станції
Як це змінить ваш ринок?
Для розробників інструментів типу Cursor або власних AI-асистентів Janus пропонує шлях уникнути залежності від Nvidia CUDA через Vulkan. Це може зменуть бар’єри входження для компаній, що використовують AMD/Intel GPU в інфраструктурі, але без готового екосистемного оточення це залишається експериментом, а не продуктом для масових впроваджень.
Визначення: GGUF — формат файлу для ефективного зберігання та завантаження великих мовних моделей, оптимізований для швидкого інференсу на CPU і GPU.
Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.
- •7B модель: ноутбук з 16GB RAM, Vulkan-сумісний GPU (AMD RX 6000+/Intel Arc), без IT-команди, 10 хв на завантаження та тест
- •27B модель: дискретний GPU з 16GB+ VRAM (наприклад, AMD RX 7900 XTX) або хмарний еквівалент ~$0.3/год, базові навички командного рядка, 30 хв
Альтернативи
| Ollama | LM Studio | Janus | |
|---|---|---|---|
| Ціна | безкоштовно | безкоштовно (з обмеженнями) | безкоштовно (вихідний код) |
| Де працює | macOS, Windows, Linux | Windows, macOS, Linux | Linux (через Vulkan), Windows ( експериментально ) |
| Мін. вимоги | 8GB RAM для 7B | 12GB RAM для 7B | 16GB RAM + Vulkan GPU для 7B |
| Ключова різниця | Готовий клієнт, модель-хаб | GUI-інтерфейс, інтеграція з Hugging Face | Vulkan-запуск, zero-dep Go бінарник, OpenAI API |
💬 Часті запитання
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiupskill.live