林超 学科15 信息论重要模型（笔记）

●   信息论

    ●  学习目的

        ●  学习如何合理分配资源

        ●  学习如何有效地去除冗余度

        ●  学习如何做到一年读上百本书

        ●  学习如何画脑图

    ●  人类最重要的三条公式

        ●  第一条：描述的物质和能量的关系 E=mc^2

        ●  第二条：香农的信息熵公式，描述的信息如何量化

        ●  第三条：是海森堡测不准原理，描述的是科学的边界

        ●  启发：这个世界，没有绝对客观的存在，人类观察世界的方式和角度和这个世界对待我们的方式和方法，会从物理学的层面影响彼此，我们观察到的东西实际上是客观世界和主观想象之间的结合体

    ●  信息熵

        ●  概念：信息熵是描述一个东西的不确定程度的量。简单理解就是搞清楚一件事情的难度。

        ●   举例：买印着图案的娃娃，它的信息熵为0.因为盒子上的图案就是娃娃的图案。但若去开一个盲盒，信息熵就陡然增大。可能出现的娃娃款式越多，信息熵越大。在娃娃款式数量不变的情况下，如果每一款出现大概率是一样的，这个时候信息熵最大。但如果其中某一个款式出现的概率很大，那么信息熵就会大大降低

    ●  霍夫曼编码

        ●  信息量：就是把信息熵消除掉的信息所需要的能量，基本单位为比特

        ●   举例：

            ●   同事问吃什么，说随便，这个时候信息熵最大，因为具有无限可能，但如果说不吃辣，信息熵就会降低，如果指定某一家的时候，信息熵降为0

            ●   不做选择，随波逐流，或者平均分配注意力，就会增加整个系统的无序性，如何聪明地分配我们的资源和精力，可了解霍夫曼编码

        ●  概念：把较短的编码分配给高频出现的词汇，较长编码分给低频出现的词汇，这样编码效率最高

        ●   例图：

        ●  启发：为了提高效率，我们应该把生活中最重要的资源，分配给人生中最高频出现的场景//类似 奥卡姆剃刀：如无必要，勿增实体 对生活做减法，围绕关键领域饱和配置资源。比如很多IT人员标配黑背包格子衫，他们不在穿着上花费过多精力和资源，但经常使用的电脑和手机等电子产品，往往都是买最好的

    ●  帧间压缩算法

        ●  关注信息增量

        ●  启发：如果我们关注变化，忽略重复，可提升我们学习效率N倍。//提高读书效率，只需要集中精力夯实基础知识，然后只关注新知识的增量

            ●   生活中，做任何事情，起步的时候先花时间把基本练扎实是最重要的，因为基本功越扎实，后面不断前进，就可以只关注增量

    ●  互信息

        ●  概念：两件事情的互信息越大，表明他们之间的相关性越强。需要注意的是，相关性不等于因果性。

            ●  举例说明：人类本能会去寻求因果，但是在这个世界上，大部分事物之间的联系都是相关联系，比如短视频平台推送视频，会给用户打个性化标签，比如宝妈，学生党等，这些标签就是互信息，不能说你打开一个军事视频，就说明你是军事迷。

            ●   很多成功人士在分享经验的时候，也都混淆了相关和因果。很多人说，当年之所做这个事情，是因为我觉得XXXX.这个说法通常都是错的，因为生活错综复杂，记忆却是主观的，这个在文章认知心理学---高效学习中有讲过。加上人类要向其它人表达的时候，会自发地美化自己。

            ●   比如过去二三十年，很多企业家说自己能成功，都是自己有魄力有能力有毅力，但这只是相关关系，不是因果关系。他们发展是赶上了中国本身整体的高发展红利

    ●  信息等价，冗余度

        ●  信息等价：高互信息的极端情况。知道了A事件发生的信息，就等于知道了B事件。很多演讲之所以让人觉得无趣，就是因为有很多信息等价，给人一种废话连篇的感觉。比如今天天气真好，风和日丽，阳光明媚

        ●  冗余度：废话多，那就是添加量很多冗余度。冗余度在计算机和工程学里面也会出现。简单可以解释为，资源的重复度。计算机里面，就是增加备份来保证系统更安全可靠的工作。

            ●   冗余度并不是一个贬义词，如果冗余度非常低，其实增加了信息被接受的难度。

            ●   有效去除冗余度方法：画分析框架（脑图）

                ●   先把关键概念零散地列出来，进行分类和链接，拿到信息等价的概念

                ●   寻找概念之间的关联，进行分类和链接，拿到信息等价的概念

                ●   回忆脑中已经建立的思维模型，进行套用和矫正，形成一个属于这一次阅读内容的分析框架

●  其它推荐笔记

    ●  课程要点概述：https://baijiahao.baidu.com/s?id=1716393924430273476

    ●  其它同学理解参考：https://www.bilibili.com/read/cv13150111?from=search&;spm_id_from=333.337.0.0

●  课程地址：https://www.bilibili.com/cheese/play/ep10460