【跨学科工具箱】信息论模型：消除不确定性（学习笔记）
哈夫曼编码：合理分配资源
帧间压缩算法：关注变化 忽略重复
冗余度：资源的重复度
资料
跨学科工具箱 林超
YJango 学习观
信息简史
信息论40讲吴军（待学习）
信息
信息：消除不确定性的叫做信息
无法消除不确定性的叫作噪音，需要通过知识将其与信息进行分离
信息量：消除信息熵所需要的信息的量，单位是bit
还有一种定义将此称为正信息，增加不确定性的则叫做负信息，比如欺骗，撒谎，谣言
信息可以被认为是从无序中夺得的有序
信息熵：描述一个东西不确定性的程度，通俗讲就是你要搞清楚一个东西的难度
信息量的计算：n比特信息就是我们，要在2^n个可能选择中（出现概率不一定相等）做出选择需要的信息量。不如我们判断一个人是高于六英尺还是低于六英尺，并且已知两种情况出现的可能性相等，那么我们只需要1比特信息。
例子1（猜盲盒）：猜测盲盒中会出现哪个娃娃，如果只有一种娃娃，猜中没有难度，信息熵为零，如果有很多种娃娃，猜中难度较大，信息熵也很大。会有一下结论：
可能出现娃娃款式数量越多，信息熵越大
款式确定去情况下，如果每一款出现概率一样，这时候信息熵最大。
如果有一个款式出现概率很大，信息熵会大大降低。
例子2（选择题）小明做某道数学题，有ABCD四个正确选项，正确答案是C
小明认为ABCD选项都一样可能，这时候选项在等概率的时候信息熵最大
小红告诉小明选有一半可能选C，提供了信息，将C选项的可能性从25%提高到了50%
小红告诉小明不选B选项，提供了信息，将B选项的可能性从25%降低到了0%
小红告诉小明正确答案是C，提供了信息，将C选项概率提升到了100%
但是当小明已经知道正确答案是C，小红对小明则提供了0bit的信息
小红告诉小明肯定是ABCD其中一项，就提供了0bit的信息，也就是所谓的“废话”
无论是小红用纸条还是直接告诉小明正确答案，提供的信息都是一样的
小明主观认为C是错的，实际的信息熵不会减少
小明对正确答案是ABCD哪个选项的熵是2bit，对答案属于AB还是CD的熵是1bit
解答这道题的信息本质是调整每个可能情况（微观态）的概率
例子3 “太阳从东边升起” 这句话对于知道的人，提供了1bit信息，对于知道或东或西升起的人，提供了1bit信息，对于觉得东南西北都有可能的人提供了2bits的人
启发：
模棱两可，平均用力，是一种相对无效的资源配置方式。（例子1.2，2.2）
对同一件事情接收到的信息与用于传递信息的信号形式无关（例子2.7）
信息量是相对的：是相对于人的：接受到的信息量是相对于观察者已经对这件事情实际的了解程度而言的，所以说到信息量就必须不能脱离观察者（例子2.5，例子3）；也是相对于事的（例子2.9）；很多人在思考问题的时候，会不自觉的认为所有观察者都和自己一样，或不经意间切换所要思考的事情，或根本不知道自己思考什么事情，这会导致怎么也想不明白或白费力气
但信息时客观的物理量，不随观察者主观意识改变（例子2.8）
相关
语言的“信息”不仅仅包含在每个字词上，还包括在音调上，还包括在句话，整篇文章，整个语言背景的综合里。
哈夫曼编码
用途：在计算机领域广泛应用于数据压缩，可以对涉及到资源分配的生活场景提供启发
哈夫曼编码：如果我们能把较短的编码分配给高频出现的词汇，使用编码时就可以达到效率最优化。
哈夫曼编码是一种不定长编码/前缀编码
编码：把一个东西映射到另一个东西上。好的映射应该保证信息不丢失
启发：为了提高效率，我们应该把生活中最重要的资源分配给人生中最高频出现的场景。即围绕关键领域饱和配置/集中精力夯实基础知识
应用：比如安排家具物品的位置，常用的放到更顺手的地方，爱看书就把书房设置大一点；
相关：奥卡姆剃刀，即大刀阔斧的做减法，可以和霍夫曼编码结合起来。比如认真反思自己生活中最高频的场景有没有可以优化的空间，比如吃饭，睡觉，运动，呼吸，工作，娱乐，排便等；把资金花在自己最高频使用的工具上，比如笔记本电脑和手机
帧间压缩算法
是什么：压缩信息的一种算法。
为什么要压缩，如果不压缩的话，一个两小时的高清电影可能会12000GB大小，压缩后能降低几千倍大小，但还是看起来很流畅
怎么做：视频连续的画面间有很多重复的部分，只需要存储变化的部分即可，而因为视频大多是连续的，所以变化的部分其实不多。
启发：
关注变化，忽略重复，可以使我们的学习效率提升n倍
结合霍夫曼编码原理，起步的时候把基本功练扎实是最重要的，后面就可以只关注增量
其他：
只要有序的东西都是可以压缩的，只有完全随机的序列才无法压缩。
如果某个对象能用其他较少bit的方式表达，那么他就是可压缩的
人是如何创造出各种理论，来解释自身对于世界的经验呢？他们必须将经验一般化，从深受随机性和噪声影响的数据中找出模式。当人或计算机从经验中学习时，他们在采用归纳推理，从无规律的信息流中识别出规律来。从这个意义上来说，科学定律其实就是一种数据压缩。
冗余度
冗余度：资源的重复度。信息论中语言的冗余度D度量了某种文本在不损失任何信息的前提下可以缩减多少篇幅。
用途：
为了保证安全性可靠性，用数据备份等手段增加冗余度，等等。
语言上的冗余指的是“为了克服歧义和进行纠错而专门引入的额外的信息”，事实上每一种语言都包括冗余，这也就是为什么人们可以读懂错别字连篇的文章。但在通讯中，这种冗余明显会造成巨大的浪费。
启发
冗余并不一定是坏东西，在工程领域它可以保证系统运作安全，在表达上，它能更好的服务于人类的认知习惯。
时代在进步，人类习惯接受的冗余度也在减少，所以我们越来越需要掌握去除冗余度的方法。
如何去除冗余度：画分析框架
把关键概念零散的列出来（这个摘要的就是）
寻找整理概念之间的关联
套用和矫正自己原有的知识体系
其他
质能方程：物质和能量的关系，意义在于两个完全不同的概念联系到了一起。
信息熵公式：整个信息论的基础，描述信息如何量化【信息熵】
海森堡测不准原理：描述科学的边界，无论科学怎样发展，都无法测算基本粒子的状态，因为我们观察粒子这件事情，本身就会改变粒子的行为。
启发：我们的观察会改变客观世界，所以我们生活的世界是没有绝对客观的存在的，我们真正能观察到的只能是客观世界和主观想象之间的结合体。
能量和信息：能量守恒，但信息不守恒。
整个宇宙最主要的两个概念，能量（物质）和信息
哲学家希望思考的是事物的本质，但他们思考的却只能是事物的符号【语言学转向】
“完美"与"确定性"这些概念与语言的本质是相互对立的，信息论已经帮我们理解了这一点
