北大公开课-人工智能基础 64 机器学习的模型之概率模型

机器学习的模型是一种算法的表达，它通过梳理海量数据来查找模式或进行预测。机器学习模型是一个文件，在经过训练后可以识别特定类型的模式。简单来说，机器学习模型是学习数据特征与标签的关系或者学习数据特征内部的规律的一个函数。

【贝叶斯网络】

贝叶斯网络是一种概率图模型，模拟了人类推理过程中因果关系的不确定性，其网络拓扑结构是有向无环图 (Directed Acyclic Graphical, DAG)¹²。贝叶斯网络实际上是一种模拟人类推理过程中因果关系的不确定性处理模型²。贝叶斯网络可以用于分类、回归、聚类、特征选择等领域¹。 

【概率规划】

概率规划算法是一种随机化算法，也称为概率算法。它允许算法在执行过程中随机地选择下一个计算步骤，从而降低算法的复杂度。概率规划算法的一个基本特征是对所求解问题的同一实例用同一概率算法求解两次可能得到不同的结果，但这些结果的期望值是相同的。

【线性回归】

线性回归算法是一种利用最小二乘法求解的回归分析方法，用于建立自变量和因变量之间的线性关系模型。它是机器学习中最基础的一类有监督学习模型，也是很多复杂模型的基础，非常重要。（最小二乘法是一种数学优化技术，它通过最小化误差的平方和找到一组数据的最佳函数匹配。在回归分析中，最小二乘法是一种常用的参数估计方法，用于建立自变量和因变量之间的关系模型。它的基本思想是使得所有数据点到拟合直线的距离之和最小，即最小化误差平方和。）

【概率规划】

概率规划算法是一种随机化算法，也称为概率算法。它允许算法在执行过程中随机地选择下一个计算步骤，从而降低算法的复杂度。概率规划算法的一个基本特征是对所求解问题的同一实例用同一概率算法求解两次可能得到不同的结果，但这些结果的期望值是相同的。

【贝叶斯网络】

贝叶斯网络是一种概率图模型，模拟了人类推理过程中因果关系的不确定性，其网络拓扑结构是有向无环图 (Directed Acyclic Graphical, DAG)¹²。贝叶斯网络实际上是一种模拟人类推理过程中因果关系的不确定性处理模型²。贝叶斯网络可以用于分类、回归、聚类、特征选择等领域¹。 

（某数据条件下产生的症状）的概率 = 【（某症状条件下产生的数据）的概率 * 某症状的概率】/ 某数据的概率。

某个数据的后验概率 = 【模型中参数的似然性 * 先验概率】/ 证据

【参数似然性】

在概率模型中，似然性是指在给定一组参数的情况下，数据集出现的概率。似然函数是一个关于模型参数θ的函数，当选择不同的参数θ时，似然函数的值是不同的，它描述了在当前参数θ下，使用模型分布pg (x;θ)产生数据集中所有样本的概率。

【证据】

在概率模型中，证据是指在给定模型的情况下，数据集出现的概率。证据是一个关于模型参数θ的函数，当选择不同的参数θ时，证据的值是不同的，它描述了在当前模型下，使用模型分布pg (x)产生数据集中所有样本的概率。

【先验概率】

在概率模型中，先验概率是指在考虑数据集的情况下，对模型参数θ的概率分布的先验知识。它是指在考虑数据集之前，我们对参数θ的概率分布的了解。先验概率是一个关于模型参数θ的函数，它描述了在没有任何数据集的情况下，我们对参数θ的不确定性有多大。

【后验概率】

在概率模型中，后验概率是指在考虑数据集的情况下，对模型参数θ的概率分布的后验知识。它是指在考虑数据集之后，我们对参数θ的概率分布的了解。后验概率是一个关于模型参数θ的函数，它描述了在给定数据集D的情况下，我们对参数θ的不确定性有多大。

【机器学习中的参数方法和非参数方法的区别】

在机器学习中，参数方法和非参数方法是两种不同的方法。参数方法是学习一个预先设定好的函数形式，prior较强；非参数方法是学习随事实情况即数据集的变化而变化的函数形式，prior较弱。

prior是指先验概率，即在观测到数据之前，对于模型参数的概率分布的假设。在贝叶斯统计中，prior是指在没有观测到数据之前对参数的概率分布的假设。

有一点点像监督学习和无监督学习的区别

参数方法的参数和先验概率是事先拟定的。非参数方法则不同。

非参数方法更难，但是也更全面，应用范围更广泛。

贝叶斯规划学习（Bayesian Program Learning，BPL）是一种基于贝叶斯方法的机器学习方法，它可以从少量的样本中学习出程序的结构和参数，并且可以用于程序的自动推导和生成。

通过概率规划归纳的算法，自动合并、生成、组合、创造新的字符集。