什么是人工智能

    人工智能就是让机器能像人一样思考。实现人工智能有两个阶段，第一阶段，科学家们尝试了各种方法来实现人工智能，包括专家系统， 决策树、归纳逻辑、聚类等等，“假智能”。第二阶段，人工神经网络技术的出现，才让机器拥有了“真智能”。

人工智能、机器学习和深度学习的关系

    人工智能是最宽泛的概念，机器学习则是实现人工智能的一种方式，也是目前较有效的方式，深度学习是机器学习算法中最热的一个分支，在近些年取得了显著的进展，并代替了多数传统机器学习算法。

人工智能的学习方法

    构成一个模型的三要素：

        模型假设

        评价函数（损失/优化目标）

        优化算法

机器学习

    机器学习是人工智能的一个分支，他是实现人工智能的核心技术，即以机器学习为手段解决人工智能中的问题。

    机器学习是通过一些让计算机可以自动“学习”的算法并从数据中分析获得规律，然后利用规律对新样本进行预测。

    机器学习分为有监督学习、无监督学习、半监督学习和强化学习。

    有监督学习指的是事先需要准备好输入与正确输出（区分方法）相配套的训练数据，让计算机进行学习，以便当它被输入某个数据时能够得到正确的输出（区分方法）。典型应用有聚类和针对连续数据预测，聚类常见算法是k-means，预测常见算法有线性回归、Grading Boosting、AdaBoost和神经网络。

    无监督学习的目的是让计算机自己去学习怎样做一些事情，所有数据只有特征而没有标记。无监督学习被应用与仅提供输入用数据、需要计算机自己找出数据内在结构的场合。其目的是让计算机自己从数据中抽取其中所包含的模式及规则。

    监督学习和无监督学习的中间地带是半监督学习，其训练数据一部分有标记，另一部分没有标记，而没有标记数据的数量常常极大于有标记数据的数量，这是因为数据的分布必然不是完全随机的，通过结合有标记的数据的局部特征，以及大量没标记数据的整体分布，可以得到比较好的分类结果。

    强化学习是解决计算机从感知到决策控制的问题，从而实现通用人工智能，它是以目标为导向的，从白纸一张的状态开始，经由多个步骤来实现某一维度上的目标最大化。最简单的理解是在训练过程中不断去尝试，错误就惩罚，正确就奖励，由此训练得到的模型在各个状态环境都最好。强化学习虽然没有标记，但有一个延迟奖励和训练相关，通过学习过程中的激励函数获得某种从状态到行动的映射。强化学习强调如何基于环境而行动，以取得最大化的预期利益。强化学习一般在游戏、下棋等需要连续决策的领域。

    标签是我们要预测的真实事物：y线性回归中的y变量

    特征是指用于描述数据的输入变量：xi线性回归中的[x1,x2,x3,...,xn]变量

    样本是指数据的特定实例：x

    有标签样本具有{特征，标签}：{x,y}用于训练模型

    无标签样本具有{特征，?}：{x,?}用于对新数据做出预测

    模型可将样本映射到预测标签：y'由模型的内部参数定义，这些内部参数值是通过学习得到的

    训练模型表示通过有标签样本来学习（确定）所有权重和偏差的理想值

    在监督式学习中，机器学习算法通过以下方式构建模型以使损失趋向于零：检查多个样本并尝试找出可最大限度地减少损失的模型。这一过程称为经验风险最小化。

    损失是一个数值，表示对于单个样本而言模型预测的准确程度。

    训练模型的目标是从所有样本中找到一组平均损失“较小”的权重和偏差

    L1损失：基于模型预测的值与标签的实际值之差的绝对值

    平方损失：一种常见的损失函数，又称L2损失

    均方误差(MSE)指的是每个样本的平均平方损失

    

    机器学习系统可以不断迭代，直到总体损失不在变化或至少变化及其缓慢为止。 此时我们可以说改模型已经收敛

    该线性回归问题产生的损失与权重图为凸型，凸型问题只有一个最低点；即只存在一个斜率正好为零的位置这个最小值函数收敛处。

    梯度：一个矢量表示某一函数在该点处的方向导数沿着该方向取得最大值，即函数在该点处沿着该方向的最大值，即函数在该点处沿该方向变化最快，变化率最大

    通过梯度乘以一个称为学习速率（步长）的标量以确定下一个点的位置。

    超参数是编程人员在机器学习算法中用于调整的旋钮。在机器学习中，超参数是在开始学习过程之前设置值的参数，选择一组好的超参数可以提高学习的性能和效果。

模型训练迭代方法：

    首先对权重w和偏差b进行初始猜测，然后反复调整这些猜测，直到获得损失可能最低的权重和偏差为止。

深度学习

    深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

    深度学习是机器学习中一种基于对数据进行表征学习的算法。观测值（例如一幅图像） 可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、 特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特 征提取高效算法来替代手工获取特征。

    至今已有数种深度学习框架，如深度神经网络、卷积神经网络和深度置信网络和递归神 经网络已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

本文源自OPEN AILAB人工智能介绍课程部分内容的整理笔记