关于信息熵（香农熵）

这一部分有点头疼，做好心理准备吧。

测量信息熵的公式，需要满足这三个条件：

第一，它必须是连续性的

第二，如果每个事件的概率一样，那么事件的数目越大，这个公式结果也要越高。（可能性越高，信息熵的值也越高，意味着不可预测性更高）

第三，允许“叠buff”，也就是说

而满足这三个条件的，只有这个情况：

具体这玩意怎样搞出来的，就是：

我们先应用第二个条件：

然后我们拆解一下，从挑选一个，换成从s挑选m次。

打个比方，一个128位元的值，等于(0,1)之间选择了128次。

所以，

同样的，把s换成t，把m换成n也成立，随便选一个n，然后假设这个m可以满足：

加入对数，并除以，就有两种可能：

，或者

考虑到第二个条件，

后面那个再进行一次对数处理，除以nA(s)之后：

这个K必须为正以满足第二个条件。

我们假设在n可能性中有个选项i，而其概率为,使用第三个条件，可以这么组合：

所以