简单介绍下欠拟合和过拟合

令人困惑的术语在刚开始学习机器学习的时候会碰到很多，诸如过拟合、欠拟合、偏差-方差权衡等术语，但是这些概念通常是机器学习的核心，不能不学，本文会帮助你理解一些专业术语。

机器学习模型的唯一目的是很好地泛化，泛化是模型从以前从未遇到过的输入中创建合理输出的能力。

通常，程序只能“机械地”响应他们熟悉的输入。模型的性能以及整个应用程序的性能在很大程度上取决于模型的泛化。如果模型泛化得很好，它将达到其目的。

过拟合和欠拟合等概念是指可能影响模型性能的缺陷。这意味着了解模型的性能“如何”至关重要。

假设我们想用如下所示的数据集建立一个机器学习模型：

X 轴是输入值，Y 轴是输出值。

在机器学习中，构建模型可以像线性回归一样通过在数据点之间拟合一条线来将输入值映射到输出值。这条拟合线负责欠拟合和过拟合。

在机器学习的训练阶段，假设在线性回归中，我们希望我们的模型遵循下图中给出的一条线，这就是这两个术语（欠拟合和过拟合）出现的地方。

在我们进一步讨论之前，让我们先澄清两个重要术语：

偏差和方差

假设使函数更易于学习的机器学习模型称为偏差，当在训练数据上训练模型并获得非常低的误差时，就会发生方差，但是当您更改数据然后训练相同的先前模型时，会得到非常高误差。

过拟合

过度拟合是指我们的模型训练从训练数据集中完成太多，因此总体成本将非常小，因此模型的泛化不可靠。

模型训练越多，过拟合的可能性就越大。我们总是希望我们的模型应该找到趋势，而不是所有数据点的拟合线。

如果处理不当，过度拟合也可能被称为高方差导致得不偿失。当我们进行训练时，模型学习是好的，并且适合于它，但是当我们的测试数据来预测时，新的准确度会降低，从而导致启发降低。

欠拟合

当我们的机器学习模型没有从训练数据中学到足够的知识，因此做出不可靠的预测时，就会发生欠拟合。

我们还期望我们的模型从输入数据点中学习太多（即太多模式），并且可以通过提前停止训练来完成，也可以应用任何其他方法。这些结果将导致模型无法从训练数据中学习足够的模式，并且也无法捕捉到主导趋势。这就是欠拟合的情况。

欠拟合也被称为高偏差，这不利于将模型泛化为过拟合。

下图是总结差异

在示例的帮助下，我们得出结论，Underfit 模型在训练或测试集中都不能很好地表现。

我们演示了如何使用具有多项式特征的线性回归来逼近非线性函数，以及如何避免欠拟合和过拟合。

我们将构造两个变量，比如X和y。

X将是一个随机数或样本，而Y将是余弦函数。该图将类似于以下简单地绘制X和Y。

使用线性回归训练模型，预测和可视化结果。

使用线性回归训练、预测和可视化模型。

现在，让我们可视化我们的预测模型。

直线无法捕捉数据中的模式。这是欠拟合的一个例子。这个模型的误差会很大。

结论

如何采取正确的措施，根据我们拥有的模型，我们模型的性能介于过拟合和欠拟合之间，但只有当这些模型泛化良好时，模型才能实现其目的。泛化通过限制两个不良结果高偏差和高方差来发挥作用。

原文链接：

https://pub.towardsai.net/underfitting-and-overfitting-with-python-examples-5a66cb470ebd

免责声明：所载内容来源互联网，仅供参考。转载稿件版权归原作者和机构所有，如有侵权，请联系我们删除。