Entropy 熵

释意：无序状态测量法；熵（shāng物资系统的不能用来做功的能量的度量）,熵值；信息熵；平均信息量。
熵是一个科学概念，也是一种可测量的物理特性，最常与无序、随机或不确定状态相关联。 这个术语和概念被用于不同的领域，从它最初被认可的经典热力学，到统计物理学中对自然的微观描述，再到信息论的原理。 它在化学和物理学、生物系统及其与生命的关系、宇宙学、经济学、社会学、天气科学、气候变化和信息系统（包括电信信息传输）中都有广泛的应用。[1]
在信息论中，随机变量的熵是变量可能结果固有的“信息”、“意外”或“不确定性”的平均水平。
信息熵的概念由克劳德·香农在其1948年的论文《通信的数学理论》[2]中提出，也简称为香农熵。 香农的理论定义了一个由三个要素组成的数据通信系统：数据源、通信信道和接收器。 “通信的基本问题”——正如香农所表达的——是接收器能够根据它通过信道接收到的信号来识别源生成的数据。 [3]香农考虑了对来自数据源的消息进行编码、压缩和传输的各种方法，并在他著名的源编码定理中证明了熵代表了一个绝对数学极限，即来自源的数据可以无损压缩到完美无噪声通道的程度。 香农在他的噪声信道编码定理中大大加强了噪声信道的这一结果。
信息论中的熵直接类似于统计热力学中的熵。 当随机变量的值指定微观状态的能量时会产生类比，因此熵的吉布斯公式在形式上与香农公式相同。 熵与其他数学领域相关，例如组合数学和机器学习。 该定义可以从一组公理中推导出来，这些公理确定熵应该是衡量变量平均结果信息量的量度。
以上来自维基百科，但我认为最好的解释是：
The amount of disorder in a system is known as entropy.
熵是对混乱程度的评价。

[1] Wehrl, Alfred (1 April 1978). "General properties of entropy". Reviews of Modern Physics. 50 (2): 221–260. Bibcode:1978RvMP...50..221W. doi:10.1103/RevModPhys.50.221
[2] Shannon, Claude E. (July 1948). "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (3): 379–423.
[3] Shannon, Claude E. (October 1948). "A Mathematical Theory of Communication". Bell System Technical Journal. 27 (4): 623–656.