Публикации по теме 'exploding-gradient'
Курс глубокого обучения — Урок 10.2: Проблема взрывного градиента
Проблема взрывающегося градиента — еще одна проблема, связанная с обучением глубоких нейронных сетей, что-то вроде оборотной стороны проблемы исчезающего градиента. Эта проблема возникает, когда градиент становится слишком большим, что может привести к нестабильности и неэффективности процесса обучения.
В частности, во время обратного распространения градиенты передаются обратно через сеть. С каждым слоем эти градиенты умножаются на веса текущего слоя. Когда эти веса имеют большие..