Нейросети обучили без обратного распространения ошибки

Препринт, ещё не рецензирован · ранние данные

Кратко

Авторы описывают простой алгоритм: он случайно меняет параметры сети и оставляет изменение только тогда, когда ошибка уменьшается. По их словам, это позволило обучать глубокие сети на одной видеокарте — в том числе модели более чем с 20 слоями, широкую сеть с 16 384 нейронами и простой Transformer на MNIST и Tiny Shakespeare.

Зачем это знать?

Это ранний результат из черновой работы, поэтому к нему стоит относиться как к демонстрации возможности, а не к готовому рецепту для практики. Подход может быть полезен как альтернатива привычному обучению нейросетей и как повод лучше понять, как они настраивают свои параметры.

Разбор

Авторы взяли очень простой способ обучения: вместо вычисления градиента, то есть направления, куда менять веса сети, они по одному или группами слегка случайно сдвигали параметры и оставляли изменение только если ошибка становилась меньше. По сути, это метод проб и ошибок, но не наугад в вакууме, а с проверкой на каждом шаге. Такой подход полезен именно там, где обычное обучение начинает буксовать: когда градиенты затухают или, наоборот, слишком раздуваются.

Интересно, что им удалось обойтись без двух привычных костылей глубокого обучения — batch normalization и residual connections. Первая техника помогает сети не «плыть» по масштабу сигналов внутри слоёв, вторая облегчает обучение очень глубоких моделей. Здесь же исследователи показывают, что даже без них можно напрямую тренировать достаточно глубокие сети. Ещё один важный момент: метод сработал не только для обычных вещественных весов, но и для разреживания сети, когда часть связей обнуляют, а также для дискретных весов, то есть когда параметры могут прыгать только по фиксированным значениям.

Они проверили подход на нескольких нетривиальных случаях: на сетях глубже 20 слоёв, на очень широкой сети с 16 384 скрытыми нейронами и на простой архитектуре Transformer. Причём тестировали не на одной игрушечной задаче: кроме классификации изображений MNIST, использовали и посимвольное языковое моделирование на Tiny Shakespeare. В этом и состоит главный практический результат: простой алгоритм без градиентов оказался достаточно гибким, чтобы охватить разные типы задач и архитектур, а заодно показать, насколько избыточными могут быть глубокие сети.

Ключевые цифры

1 GPUАлгоритм обучал сети на одной видеокарте, а не на большом кластере серверов.

20+ слоёвПодход выдержал обучение очень глубоких сетей, где обычные методы часто начинают работать хуже.

16 384 скрытых нейронаДаже очень широкую сеть с огромным числом нейронов удалось натренировать этим простым способом.

2 задачиМетод проверили не на одном примере, а как минимум на распознавании изображений и на генерации текста по символам.

Можно ли доверять

Это препринт на arXiv, то есть работу ещё не проверили независимые рецензенты. Авторы показали результат на нескольких задачах и архитектурах, что укрепляет доверие, но пока это демонстрация метода, а не окончательный стандарт обучения нейросетей.

This is a preprint, so the results have not yet been vetted by peer review.
The evidence comes from demonstration experiments on selected models and tasks, not a broad benchmark across deep learning.
The method is presented as feasible, but the abstract does not show that it outperforms backpropagation in efficiency or quality.

Пересказано ИИ по научной статье. Это научпоп, а не совет врача. Как это устроено

Источник и детали

ЖурналarXiv (cs.LG)

Дата публикации у нас10 июля 2026 г.

Дата источника9 июля 2026 г.

ОригиналОткрыть

АвторыHong Zhao