Show HN: Janus – Go бінарник, що запускає GGUF-моделі через Vulkan на AMD/Intel/Nvidia
Janus — це один Go бінарник, що запускає GGUF-моделі локально через Vulkan або CPU. Він надає OpenAI-сумісний API для інструментів типу Cursor, підтримуючи горячу заміну моделей без залежностей.
🔬 Цікаво для експериментів. Vulkan-запуск 7B моделей на ноутбуці — альтернатива Ollama для тих, кому потрібна контроль над бекендом. Для продакшену — чекайте стабільності.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Janus — це один Go бінарник без зовнішніх залежностей
- •Підтримує запуск GGUF-моделей через Vulkan (AMD/Intel/Nvidia) або CPU
- •Надає OpenAI-сумісний API з горячою заміною моделей
- •Проєкт з відкритим вихідним кодом на GitHub (licence не вказано)
- •Підходить для експериментів з локальними LLM на ноутбуці або робочій станції
Як це змінить ваш ринок?
Для розробників інструментів типу Cursor або власних AI-асистентів Janus пропонує шлях уникнути залежності від Nvidia CUDA через Vulkan. Це може зменуть бар’єри входження для компаній, що використовують AMD/Intel GPU в інфраструктурі, але без готового екосистемного оточення це залишається експериментом, а не продуктом для масових впроваджень.
Визначення: GGUF — формат файлу для ефективного зберігання та завантаження великих мовних моделей, оптимізований для швидкого інференсу на CPU і GPU.
Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.
- •7B модель: ноутбук з 16GB RAM, Vulkan-сумісний GPU (AMD RX 6000+/Intel Arc), без IT-команди, 10 хв на завантаження та тест
- •27B модель: дискретний GPU з 16GB+ VRAM (наприклад, AMD RX 7900 XTX) або хмарний еквівалент ~$0.3/год, базові навички командного рядка, 30 хв
Альтернативи
| Ollama | LM Studio | Janus | |
|---|---|---|---|
| Ціна | безкоштовно | безкоштовно (з обмеженнями) | безкоштовно (вихідний код) |
| Де працює | macOS, Windows, Linux | Windows, macOS, Linux | Linux (через Vulkan), Windows ( експериментально ) |
| Мін. вимоги | 8GB RAM для 7B | 12GB RAM для 7B | 16GB RAM + Vulkan GPU для 7B |
| Ключова різниця | Готовий клієнт, модель-хаб | GUI-інтерфейс, інтеграція з Hugging Face | Vulkan-запуск, zero-dep Go бінарник, OpenAI API |
💬 Часті запитання
Чи потрібна Nvidia GPU для роботи Janus?
Ні, Janus підтримує Vulkan, що працює на AMD, Intel і Nvidia GPU, а також fallback на CPU.
Чи підтримує Janus моделі більше 27B параметрів?
Технічно так, але швидкість залежить від доступної VRAM і швидкості Vulkan-бкенду; для моделей понад 27B рекомендується перевірити benchmark у власному середовищі.
Чи є у Janus чат-інтерфейс або веб-UI?
Ні, Janus надає лише OpenAI-сумісний API; для чат-інтерфейса потрібен зовнішній інструмент типу Cursor або власний frontend.
Чи є гарантія стабільності API?
Ні, це експериментальний проєкт без гарантій зворотної сумісності або довгострокової підтримки.
Чи потрібен інтернет для роботи?
Ні, після завантаження моделі Janus працює повністю офлайн.
Підтекст
Автор позиціонує Janus як легковажну альтернативу Ollama, але без його екосистеми та готового клієнта. Реальна вигода — для розробників, що хочуть власної інтеграції через Vulkan на специфічному GPU, не залежачи від драйверів Nvidia. Це не заміна для бізнесу, а інструмент для тестування архітектурних рішень.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me