机器学习革命

• 香农以“信息论之父”而为人所知，他第一个意识到晶体管的活动就是在运算，因为晶体管开了又关，是对其他晶体管的回应。

• 计算机是各种晶体管的大集合。
  

• 算法就是一系列指令，告诉计算机该做什么。这些指令必须精确且不能模糊。

• 算法设计是复杂的

• 空间复杂性

• 时间复杂性

• 人类的复杂性

• 算法 + 数据 => 结果

• 学习算法（机器学习） + （数据和结果）=> 算法

• 有些学习算法学习知识（知识往往以统计模型出现，例如：所有人都会死）

• 有些学习算法学习技能（技能往往以程序的形式出现，例如：马路向左弯曲）

• 通过机器学习，计算机就会自己编写程序

• 人们能编写许多计算机无法学习的程序

• 计算机也能学习人们无法编写出来的程序（例如：辨认字迹、开车）

• 机器学习是人工智能的子域，而机器学习可以说是其中最重要的部分。因为如果没有学习，计算机就永远无法跟上人类的步伐。

• 计算机科学通常需要的是准确思维，但机器学习需要的是统计思维。

• 从计算机到互联网再到机器学习的进步是必然的：计算机使互联网成为可能，互联网又产生大量数据以及无限选择这个问题，机器学习可以用来克服信息超载。

• 如果你不将大数据变成知识，它将毫无用处，可以世界上没有那么多科学家来完成这件事。

• 长尾效应：“头”（head）和“尾”（tail）是两个统计学名词。正态曲线中间的突起部分叫“头”；两边相对平缓的部分叫“尾”。从人们需求的角度来看，大多数的需求会集中在头部，而这部分我们可以称之为流行，而分布在尾部的需求是个性化的，零散的小量的需求。而这部分差异化的、少量的需求会在需求曲线上面形成一条长长的“尾巴”，而所谓长尾效应就在于它的数量上，将所有非流行的市场累加起来就会形成一个比流行市场还大的市场。

• 机器学习领域存在不同思想的学派

• 符号学派

• 所有的信息都可以简化为操作符号。

• 他们的主算法是逆向演绎。

• 联结学派

• 学习就是大脑所做的事情

• 联结学派的主算法是反向传播学习算法

• 进化学派

• 所有形式的学习都源于自然选择

• 主算法是基因编程

• 贝叶斯学派

• 所有掌握的知识都有不确定性，而且学习知识的过程也是一种不确定的推理形式

• 主算法就是贝叶斯定理及其衍生定理

• 类推学

• 学习的关键就是要在不同场景中认识到相似性，然后由此推导出其他相似性。

• 主算法就是支持向量机。