学习分享一年，对神经网络的理解全都在这40分钟里了

量纲不同的变量可进行变换: 权重的引入

权重系数, 偏置系数

决策/预测: 根据分界线进行判断

训练/学习: 找最优分界线. 机器学习的核心.

机器学习与动态规划/贪心算法等经典算法最大的不同: 不需要对新数据都进行同样复杂度的计算, 而是先进行异常复杂的训练和学习, 只需要对新数据进行简单计算. 总体上可能没有减少计算复杂度, 但是决策和训练的分工带来了更大的应用效能.

确定一个分界线好坏的判断标准(不仅对已知数据最好,也要对未来数据最好)→根据该标准寻找最优分界线/次优分界线

机器学习的目的: 不是训练而是预测

• 如何确定判断标准: 引入额外公设(策略)对函数进行修饰. f函数值是对数据所有不同维度公度后的结果, 改结果只有数值差异, 没有现实意义. 公设则对公度结果进行修饰, 为其赋予现实意义

间隔越大, 存放新数据的空间越大

点到直线的距离, 找让间隔函数最大的系数, 用偏置系数确定唯一分界线

sigmoid将函数限制到(0,1), 进而将函数值看成概率值

概率最大最好

似然值最大最好(变动的不是随机变量X而是条件W)

模型: 讨论对数据分类的曲线的复杂情况

分类和回归在模型上没有本质区别

NN: 可以提高模型复杂度, 复杂性来自激活函数

• 计算判断标准下对应的系数(算法)

几乎不可能求出解析解, 选择算法求数值解

神经网络的算法几乎是特指梯度下降法