Функция выпуклая (Convex function) – это функция, в которой область над графиком функции представляет собой выпуклое множество. Прототип выпуклой функции имеет форму буквы U. Строго выпуклая функция имеет ровно одну точку локального минимума. Классические U-образные функции являются строго выпуклыми функциями. Однако некоторые выпуклые функции (например, прямые) не имеют U-образной формы. Многие распространенные функции потерь, являются выпуклыми функциями: L2 loss, Log Loss, L1 regularization, L2 regularization. Многие варианты градиентного спуска гарантированно находят точку, близкую к минимуму строго выпуклой функции. Точно так же многие варианты стохастического градиентного спуска имеют высокую вероятность (хотя и не гарантию) нахождения точки, близкой к минимуму строго выпуклой функции. Сумма двух выпуклых функций (например, L2 loss + L1 regularization) является выпуклой функцией. Глубокие модели никогда не бывают выпуклыми функциями. Примечательно, что алгоритмы, разработанные для выпуклой оптимизации, в любом случае имеют тенденцию находить достаточно хорошие решения в глубоких сетях, даже если эти решения не гарантируют глобальный минимум.
[Чесалов А. Ю. Глоссариум по искусственному интеллекту: 2500 терминов/ А. Ю. Чесалов — «Издательские решения» 2022 г., 670 стр.]