Градиент исчезающий (vanishing gradient) — эффект при обучении нейронных сетей, при котором значение функции ошибок перестает уменьшаться с дополнительными итерациями процесса обучения.
Примечание. Проблема исчезающего градиента может фактически остановить обучение нейронной сети, потому что она предотвращает изменение и улучшение весов признаков нейронной сети при дополнительных итерациях процесса обучения.
[ГОСТ Р (проект, первая редакция). Информационные технологии. Искусственный интеллект.]