Импульс — метод импульса используется для повышения скорости сходимости алгоритмов оптимизации за счет добавления части предыдущего обновления к текущему обновлению. Пример: Momentum используется в SGD, Adam и других алгоритмах оптимизации.
[50 терминов искусственного интеллекта. (Электронный ресурс). Режим доступа: http:// pudie.ru›articles/704343/, свободный]