AI News
ДІЇ НЕМАНейтральнаImpact 4/10Research

Ділення ваг у пост-тренінгу LLM: новий метод адаптації моделей

Редакція AI NewsДжерело: gonzo-обзоры ML статейОпубліковано Оновлено
gonzo-обзоры ML статей•4 днi тому•1 перегляд•

Дослідники запропонували метод Deletion Tuning, який адаптує заморожені мовні моделі через навчання бінарної маски замість оновлення ваг. Це дозволяє переключати задачі на одній моделі без втрати попередніх навичок.

ВердиктНейтральнаImpact 4/10

🔬 Дослідний прототип без готового продукту. Для компаній на 10-50 людей тут нема дії: це академічна робота з кодом на GitHub, а не сервіс, який можна підключити сьогодні.

🎯 Чи підходить це вашому бізнесу?

Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.

Заповнити профіль · 30 секунд
Детальний розбір ↓

TL;DR

• Метод Deletion Tuning адаптує заморожені LLM через бінарні маски замість оновлення ваг

• Занулення менше 0,05% параметрів порівнюється з повним файнтюнінгом на великих моделях

• Навчання вимагає значно більше пам'яті, ніж стандартний файнтюнінг

• Послідовне дообучення в роботі не перевіряли

• Код доступний на GitHub, модель — на Hugging Face


Як це змінить ваш ринок?

Це академічне дослідження, а не комерційний продукт. Для компаній на 10-50 людей без власної ML-команди це нічого не змінює: нема готового інтерфейсу, ціни або підтримки, якою можна скористатися сьогодні.


Визначення: Deletion Tuning — метод пост-тренінгу LLM, при якому модель адаптується через навчання бінарної маски для гейтових проекцій MLP, а не через оновлення ваг.


Для кого це і за яких умов

Для ML-інженерів і дослідників з досвідом роботи з PyTorch та великими мовними моделями. Потрібна команда з ML-компетенціями, доступ до GPU з великою кількістю пам'яті та час на експерименти. Для бізнесу без технічної команди це не придатно до використання.


Альтернативи

Повний файнтюнінгLoRA-адаптериDeletion Tuning
Цінадані не розкритідані не розкритідані не розкриті
Де працюєлокально / хмаралокально / хмараGitHub репозиторій
Мін. вимогиGPU, ML-командаGPU, ML-командаGPU, велика пам'ять, ML-команда
Ключова різницяоновлює всі вагионовлює малі адаптеризануляє частину ваг

💬 Часті запитання

Чи можна використовувати це в бізнесі сьогодні?

Ні, це дослідницький прототип без готового продукту, ціни або підтримки.

Чи зберігає метод попередні здібності моделі?

За даними статті, на великих моделях попередні здібності не постраждають при зануленні менше 0,05% параметрів.

Чи менший за об'ємом цей метод, ніж LoRA?

Ні, за даними статті, нестиснені bf16-адаптери рангу 1 часто менші за об'ємом.

Де знайти код?

Код опубліковано на GitHub у репозиторії agentic-learning-ai-lab/deleting-weights.

Такий розбір щоранку о 08:00

Персональний AI-дайджест для вашої галузі — щодня у Telegram

Підписатися безкоштовно
LLMfine-tuningDeletionTuningbinarymaskMLPpost-training

AI Advisory Board

Навчіть вашу команду будувати такі AI-автоматизації

За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.

Дізнатись більше → aiadvisoryboard.me