Навчання 3,8B LLM до 0,384 CORE за $998 – Hugo Vergnes

TL;DR

• •Навчено 3,8B LLM за $998 на 8× B200 GPU
• •Достигнуто 0,384 CORE за 65B токенів та FP8
• •Використано оптимізатор Muon та трапециевий LR графік
• •Код та деталі доступні на hugovergnes.github.io/little-lm-3-8b/
• •Ваги моделі не публікуються — лише методика

Як це змінить ваш ринок?

Для дослідників та стартапів це сигнал: тренування LLM стає дешевшим завдяки оптимізації, а не лише масштабуванню GPU. Це може зменшити залежність від хмарних API для прототипів та внутрішніх інструментів у компаніях з технічною здатністю.

Визначення: CORE benchmark — синтетичний тест, що вимірює здатність моделі розуміти та генерувати код на базі розв’язку алгоритмічних задач.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Потрібний досвід з PyTorch, оптимізаторів та GPU-програмування
• •Для повного відтворення: 8× B200 GPU (~$80/год в хмарі), 65B токенів даних, 10+ годин навчання
• •Без IT-команди — нереально; потрібен інженер ШІ або ML
• •Час на впровадження методу: 1-2 тижні для адаптації коду під свої дані

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 |

| Ціна | $998 (одноразово) | $0.0006/1K токенів (GPT-4o mini) | $0.15/1M токенів (Llama 3 8B API) | | Де працює | Власний код, локально | Хмарний API (OpenAI) | Хмарний API (Together AI, Replicate) | | Мін. вимоги | 8× B200 GPU, ШІ-інженер | Інтернет, API-ключ | Інтернет, API-ключ | | Ключова різниця | Повний контроль, без виплат за токени | Простота, готові ваги | Нижча вартість за токен, опенсорс ваги |