Hetzner запускає експериментальний API для LLM інференсу
Hetzner запустив експериментальний OpenAI‑сумісний API для моделі Qwen3.6-35B, що забезпечує 224 токени/сек і контекст 262K токенів без SLA та биллінгу. Це дає можливість компаніям отримувати доступ до потужного LLM інференсу за низькою вартістю, уникаючи залежності від пропрієтарних хмарних провайдерів.
🚀 Швидкий старт. Для розробників, що хочуть низькокостового LLM інференсу без SLA.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Дата анонсу: 24 липня 2026 р.
- •Модель: Qwen3.6-35B з відкритими вагами (Apache 2.0)
- •Токенів за секунду: 224 при контексті 262K токенів
- •API: OpenAI‑сумісний, без SLA та без биллінгу (експериментальний)
- •Розташування серверів: датацентри Hetzner у Нюрнберзі та Фалькенштейні (ЕС)
Як це змінить ваш ринок?
Для компаній у медіа та маркетинг головним блokerом є високі витрати та ризик передачі конфіденційних даних третім сторонам при використанні пропрієтарних LLM API. Hetzner пропонує локалізований інференс у ЄС з можливістю обробки довгих документів завдяки 262K контексту, що зменшує потребу в розбивці тексту. Це може скоротити витрати на генерацію контенту на 30‑40% та забезпечити відповідність вимогам GDPR.
Визначення: LLM інференс — процес генерації тексту або виконання завдань великою мовою моделлю без навчання, лише за допомогою передтрénованих ваг.
Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.
- •Маленькі команди (до 10 осіб): ноутбук з 16 GB RAM, стабільний інтернет, без IT‑спеціаліста, налаштування за 30 хв.
- •Середні компанії (10‑200 осіб): доступ до Hetzner Cloud або власний сервер з GPU 24 GB+ VRAM, бюджет ~0,5 $/год за хмарові інстанси, один IT‑спеціаліст, впровадження за 1‑2 дні.
- •Великі підприємства (200+ осіб): кластер з кількома GPU, команда DevOps, SLA‑покриття через внутрішній моніторинг, плановий розгортання за 1‑2 тижні.
Альтернативи
| Продукт | Ціна (за 1M токенів) | Де працює | Мін. вимоги | Ключова різниця |
|---|---|---|---|---|
| Hetzner Experimental API | безкоштовно (експериментальний) | Hetzner Cloud (ЕС) | API‑ключ, інтернет | Відсутність SLA, даних не виходить за межі ЄС |
| OpenAI API (GPT-4o) | $0,06 | OpenAI cloud (США) | API‑ключ, інтернет | Пропрієтарний, високі витрати, потенційний перенос даних |
| Together AI (Mixtral 8x7B) | $0,0008 | Together cloud (глобально) | API‑ключ, інтернет | Відкриті ваги, нижча ціна, але менший контекст (32K) |
💬 Часті запитання
Чи є гарантії доступності?
Наразі сервіс не має SLA, тому доступність може коливатися; рекомендується мати резервний план або використовувати його лише для некритичних навантажень.
Як обмеження контексту 262K впливає на роботу з довгими документами?
Такой контекст дозволяє передавати до约 180 000 слів за один запит, що достатньо для аналізу довгої звіту або книги без поділу на частини.
Чи потрібна спеціальна апаратна підтримка для локального використання?
API розміщений у хмарі Hetzner, тому локального GPU не потрібно; достатньо ноутбука з доступом до інтернету та API‑ключем.
Як це впливає на витрати порівняно з пропрієтарними сервісами?
Завдяки відсутності комісії та можливості користуватися відкритою моделлю, витрати можуть бути нижчі на 70‑80% при порівнянні з GPT-4o при однаковому обсязі токенів.
Підтекст
Hetzner стремиться захопити нишу доступних LLM API, пропонуючи відкритий інтерфейс без комісії, щоб приваблювати розробників від пропрієтарних провайдерів. Це також підсилює їхню позицію як провайдера інфраструктури для AI-стартапів. Відсутність SLA та биллінгу показує, що це ще експериментальна пропозиція, що вимагає обережного використання в продакшені.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
Джерела
Shir-man Trending — оригіналAI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me