Дослідник знайшов: дві нейрони в Qwen3.5 4b перетворюють модель на «злого квена»
Дослідниця змінила активацію двох нейронів — L14 N8949 (+1) та L13 N7956 (-1) — у Qwen3.5 4b під час інференсу. Це призвело до того, що модель почала відповідати як карикатурний злодей і помітно глупіла. Простий тюнінг (steering) може кардинально змінити поведінку моделі, включаючи сарказм, гірський настрій чи інші особистісні риси.
🔬 Дослідження, а не продукт. Для компаній на 10-50 людей тут немає дії: це прототип без деплою, ціни чи гарантій, а не інструмент для робочих задач.
🎯 Чи підходить це вашому бізнесу?
Заповніть профіль компанії — і ми автоматично покажемо, чи варто вам це впроваджувати.
Заповнити профіль · 30 секундTL;DR
- •Дослідник змінив активацію двох нейронів у Qwen3.5 4b під час інференсу.
- •Модель почала відповідати як карикатурний злодей і стала помітно глупішою.
- •Метод називається «стейрінг» і дозволяє підібрати комбінації нейронів для різних особистостей.
- •Твіт про дослідження набрав понад 3 млн переглядів.
- •На Kaggle вже зроблено іграшку на основі цього концепту.
Як це змінить ваш ринок?
Це дослідження сигналізує про те, що поведінку великих мовних моделей можна змінювати точковою корекцією нейронів, а не лише через довге навчання. Для бізнесу це означає, що контроль над «особистю» моделі може стати окремою галуззю інженерії, але поки що це лише експеримент без готового інструменту для внедрення.
Визначення: Стейрінг (steering) — метод керування поведінкою моделі під час інференсу шляхом штучної зміни активації конкретних нейронів.
Для кого це і за яких умов
Ця новина не стосується компаній на 10-50 людей як практичне завдання. Це демо для дослідників та ентузіастів, а не продукт, який можна купити або впровадити без власної ML-команди.
Альтернативи
| Qwen3.5 4b (стейрінг) | Системні промпти | Fine-tuning | |
|---|---|---|---|
| Ціна | дані не розкриті | безкоштовно | дані не розкриті |
| Де працює | експериментальне демо | будь-яка модель | потребує навчання |
| Мін. вимоги | доступ до ваг моделі | API або локальна модель | GPU, датасет |
| Ключова різниця | точкова корекція нейронів | текстові інструкції | зміна ваг моделі |
💬 Часті запитання
Чи можна використати це у бізнесі зараз?
Ні. Це дослідження без готового продукту, ціни або підтримки для комерційного використання.
Чи стосується це всіх моделей?
Автор стверджує, що будь-яку комбінацію можна підібрати, якщо відповідні нейрони існують, але це не підтверджено для інших моделей.
Чи це безпечно?
Метод робить модель помітно глупішою і змінює її поведінку, що створює ризики для робочих завдань без контролю.
Такий розбір щоранку о 08:00
Персональний AI-дайджест для вашої галузі — щодня у Telegram
AI Advisory Board
Навчіть вашу команду будувати такі AI-автоматизації
За 5 днів кожен співробітник побудує автоматизацію для своєї ділянки роботи.
Дізнатись більше → aiadvisoryboard.me