Энтропия информационная
Энтропия информационная — это средняя скорость, с которой информация генерируется стохастическим источником данных. Мера информационной энтропии, связанной с каждым возможным значением данных, является отрицательным логарифмом