AI News
ДІЇ НЕМАНейтральнаImpact 4/10ResearchEnterprise🏭 Виробництво і Промисловість

Навчання моделей ШІ у 4 біти: Thinking Machines прискорило підготовку Inkling 2 Small

Редакція AI NewsДжерело: Shir-man Daily TopОпубліковано Оновлено
Shir-man Daily Top•6 днів тому•1 перегляд•

Компанія Thinking Machines навчила модель Inkling 2 Small у 4-бітному форматі, що прискорило попереднє навчання на 8% та навчання з підкріпленням на 20%. Це дозволяє зменшувати витрати на обчислення при підготовці великих мовних моделей.

ВердиктНейтральнаImpact 4/10

🔬 Дослідження без готового продукту. Для компаній до 200 людей тут нема дії: це технічний прототип, а не сервіс, який можна підключити.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

  • •Thinking Machines навчила модель Inkling 2 Small у 4-бітному форматі NVFP4
  • •Прискорення попереднього навчання на 8% порівняно з повним MXFP8
  • •Прискорення навчання з підкріпленням на 20% порівняно з повним MXFP8
  • •Для зворотних проходів використовується MXFP8 для зменшення упередженості
  • •Дані про ціну, ліцензію та доступність не розкриті

Як це змінить ваш ринок?

Це дослідження стосується витрат на навчання моделей, а не їх використання. Для компаній, які купують готові рішення ШІ, це не змінює нічого сьогодні. Для тих, хто сам тренує великі мовні моделі, це може скоротити рахунки за GPU в майбутньому, якщо технологія вийде з лабораторії.

Визначення: NVFP4 — формат чисельності з 4 бітами для нейронних мереж, який дозволяє зменшувати обсяг пам'яті та прискорювати обчислення.

Для кого це і за яких умов

Для компаній з власною ML-командою та великими обсягами даних. Мін. масштаб: enterprise з бюджетом на власне навчання моделей. Час на впровадження: не прикладно, бо це не готовий продукт.

Альтернативи

Продукт 1Продукт 2Продукт 3
Цінадані не розкритідані не розкритідані не розкриті
Де працюєне відомоне відомоне відомо
Мін. вимогине відомоне відомоне відомо
Ключова різницяне відомоне відомоне відомо

💬 Часті запитання

Чи можу я сьогодні використати це у своєму бізнесі?

Ні, це дослідницький прототип без готового деплою або підтримки.

Чи скоротить це мої витрати на ШІ?

Поки що ні. Це може вплинути на витрати лише якщо ви самі тренуєте моделі і технологія стане доступною.

Хто стоїть за цим дослідженням?

Компанія Thinking Machines.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
4-bittrainingNVFP4MXFP8ThinkingMachinesInkling2SmallLLMtrainingefficiency

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me