Show HN: Mini-AGI – Динамічна модель постійного навчання, що тренується на 8 ГБ VRAM

TL;DR

• •Тренується на 8 ГБ VRAM через підкачку ваг з диска
• •Використовує адаптивну глибину та маршрутизацію експертів
• •Опенсорсний репозиторій на GitHub
• •Не є frontier-моделю, а експериментальний прототип
• •Має потенціал для досліджень постійного навчання

Як це змінить ваш ринок?

Для більшості компаній це не змінить нічого. Це дослідження може надикнути інженерів на пошук ефективних методів навчання на обмеженому залізі, але без готового продукту, підтримки та документації воно не призведе до безпосередніх змін у бізнес-процесах.

Визначення: Постійне навчання (continual learning) — це здатність моделі навчатися на нових даних без катастрофічного забывання раніше вивченого.

Для кого це і за яких умов (ОБОВ'ЯЗКОВО: мін. обладнання/бюджет, потрібна команда чи ні, мін. масштаб, час на впровадження.

• •Потрібна: досвідчена ML-команда, час на дослідження, доступ до GPU з 8+ ГБ VRAM
• •Не потрібна: великий бюджет, готове рішення, IT-інфраструктура для продакшену
• •Масштаб: будь-який, але практично корисно лише для досліджень
• •Час на впровадження: не застосовується — це не продукт

Альтернативи (ТАБЛИЦЯ: | | Продукт 1 | Продукт 2 | Продукт 3 |

| Ціна | безкоштовно (опенсорс) | $0.006/1K токенів (Llama 3 8B) | $0.02/1K токенів (GPT-4o mini) | | Де працює | локально (після складної збірки) | хмара/API | хмара/API | | Мін. вимоги | 8 ГБ VRAM, навички збірки з джерела | інтернет-з’єднання | інтернет-з’єднання | | Ключова різниця | постійне навчання на байтовому рівні | готове API з підтримкою | готове API з високою якістю |