Нейронна статистика: нотатки щодо Теореми мастер‑тензорних програм

TL;DR

• •При збільшенні ширини нейронної мережі до нескінченності середні активації нейронів стають детермінованими скалярними випадковими процесами, що означає, що їхнє математичне сподівання та дисперсія сходяться до стабільних граничних значень, незалежно від конкретної реалізації ваг.
• •Теорема master‑тензорних програм дозволяє описати граничні розподіли нейронних виходів як гауссівські процеси, незважаючи на складні кореляції, що виникають через повторне використання однакових ваг у різних частинах тензорної програми.
• •Результат отримано без припущення про незалежність або ідентично розподілені ваги, що робить його застосовним до реальних архітектур з параметр‑шарингу, таких як трансформери з прив’язаними вагами або згорткові шари з поділом каналів.
• •Теоретичний вывод підтверджується empirічними симуляціями для ширини від 128 до 8192 нейронів на шар, демонструючи збіжність empirічних гістограм активацій до передбачених гауссівських функцій з похибкою менше 5%.
• •Високі ширини зменшують дисперсію виходу, що покращує передбачуваність моделей та зменшує потребу у регуляризаційних техніках (наприклад, dropout або вагова деградація), що може призвести до економії обчислювальних ресурсів при навчанні великих моделей.

Як це змінить ваш ринок?

Для компаній, що займаються розробкою фундаментальних моделей, головним блokerом є непередбачуваність поведінки широких моделей через скрыті кореляції ваг, що призводить до непередбачуваних змін у якості генерації та збіжності навчання. Теорема master‑тензорних програм дає математичний інструмент для прогнозування стабільності виходу, що дозволяє скоротити емпіричне тестування на 30‑40% та знижує витрати на підбір гіперпараметрів, особливо при масштабуванні до milliard‑параметрованих систем.

Визначення:

Тензорна программа — це обчислювальний граф, у якому операції тензорного алгебраїчного типу (матричного множення, додатка, тензорного добутку) застосовуються до параметрів нейронної мережі, дозволяючи описати складні архітектури, такі як трансформери, згорткові та рекурентні мережі, у уніфікованому математичному рамках.

Для кого це і за яких умов

Для дослідних команд з доступом до GPU кластеру (мінімум 4× NVIDIA A100 або еквівалент) та навичок теорії глибинного навчання, включаючи знання лінійної алгебри, теорії ймовірностей та досвід роботи з бібліотеками тензорних обчислень (JAX, TensorFlow, PyTorch). Потрібна доступність до середовища для симуляцій та час на розрахунки — від кількох годин до днів залежно від ширини моделі та складності тензорної програми. Масштаб: будь‑який, але практична користь виявляється при ширині шарів від 1024 нейронів, коли эффект концентрації стає статистично значимим.

Альтернативи