【机器学习】直观理解信息量和信息熵的含义

信息量：利用概率计算信息量

事件发生的概率越低，它含有的信息量就越大，因为它帮我们排除的不确定性越大。

信息熵：一个系统内发生某个事件时，它能带给你的信息量的期望。感性理解：若1个系统内由大量小概率事件构成，则它的信息熵就大