На шляху до AGI виявили нову проблему: ШІ з часом розучується вчитися

TL;DR

• •Дослідники Zyphra виявили, що LLM втрачають здатність швидко засвоювати нові знання.
• •Проблема не в забуванні старого, а в складності інтеграції нової інформації.
• •Більші моделі відтерміновують проблему, але не вирішують її повністю.
• •Модель на 1 млрд параметрів втрачає пластичність після ~1,8 трлн токенів навчання.
• •Це фундаментальна перешкода на шляху до створення AGI.

Як це змінить ваш ринок?

Ця проблема фундаментально впливає на розробку та впровадження систем ШІ, які потребують безперервного навчання та адаптації. Для компаній, що інвестують у довгострокові AI-рішення, це означає необхідність перегляду стратегій та пошуку нових архітектур, які зможуть підтримувати актуальність моделей без постійного перенавчання з нуля. Це може сповільнити розвиток AGI-орієнтованих продуктів та збільшити витрати на їх підтримку.

Пластичність ШІ: Здатність моделі швидко та ефективно інтегрувати нові знання та адаптуватися до змінних умов під час безперервного навчання, не втрачаючи при цьому раніше набутих навичок.

Для кого це і за яких умов

Ця новина критично важлива для керівників R&D відділів, інженерів машинного навчання та інвесторів у сфері штучного інтелекту. Вона стосується будь-якої компанії, яка розробляє або планує використовувати LLM для завдань, що вимагають постійного оновлення знань (наприклад, актуальні новини, динамічні ринкові дані, медичні дослідження). Для ефективного вирішення цієї проблеми потрібні значні інвестиції в наукові дослідження та розробку нових архітектур, що виходить за рамки можливостей малих та середніх підприємств без спеціалізованих AI-команд.

Альтернативи