Энтропия информационная — это средняя скорость, с которой информация генерируется стохастическим источником данных. Мера информационной энтропии, связанной с каждым возможным значением данных, является отрицательным логарифмом функции вероятности каждого значения.
[Словарь современных терминов Data Science. (Электронный ресурс). Режим доступа: http:// softline.ru›about/blog/slovar-sovremennykh-/, свободный.]