机器学习中的熵的概念和推导

    根据上一篇文章中的有关KL散度的定义进一步变形推导出以下概念

熵是一种信息度量，体现了在系统当前状态下，个体组合方式的多样性的程度。与热力学第二定律相结合，以下例子中进行体现。

一共有N个物体，每个方框内分别放置Ni个物体，一共放置在M个方框内，按照排列组合公式可以得到如上结果W。

将排列组合的结果带入热力学公式中，通过斯特林公式的近似运算之后可以求得熵，这个熵也就是机器学习中常用的信息熵公式。