人工智能AI面试题-4.18 请说下常见优化方法各自的优缺点？

4.18  请说下常见优化方法各自的优缺点？ 常见优化方法解析 🚀💡 在机器学习和深度学习领域，选择合适的优化算法至关重要。除了传统的梯度下降，还有Adadelta、Adagrad、RMSProp等多种优化器可供选择。在Sebastian Ruder的论文中进行了详细比较，我们来学习一下各个算法的特点以及如何选择。 🧐 梯度下降法深入理解 🧐 首先，让我们深入理解优化算法的目标。我们的目标是在神经网络模型中调整参数θ（通常是一组参数，如θ₁、θ₂、θ₃...）。目标函数是损失函数L = 1/N ∑ Li（对每个样本的损失函数求均值）。这个损失函数L是θ的函数，其中损失函数L的参数是整个训练集。换句话说，目标函数（损失函数）是通过整个训练集来确定的，而不同的训练集会导致不同的损失函数图像。 那么为什么在小批量数据中会遇到鞍点或局部最小值，并且无法继续优化呢？因为在这些点上，L对θ的梯度为零。换句话说，对θ的每个分量求偏导数，然后带入整个训练集，导数为零。 对于SGD/MBGD，每次使用的损失函数仅通过小批量数据确定，其函数图像与真实全集损失函数略有不同，因此其梯度也具有一定的随机性。在鞍点或局部最小值点，梯度会震荡跳动。因为在这些点上，如果是全集数据（BGD），优化会停滞不动，而如果是小批量或SGD，每次找到的梯度都不同，会导致震荡。 📋 优化器算法简介 📋 首先，让我们看一下梯度下降的三种常见变种：BGD、SGD、MBGD。它们的区别在于计算目标函数梯度时使用的数据量，这涉及到准确性与运行时间之间的权衡。 1. 批量梯度下降（BGD） 😎 BGD使用整个训练集来计算梯度，并在每次迭代中更新参数。这确保了准确的参数更新，但也导致较长的运行时间，特别是对于大型数据集。BGD的表情符号是：“🏋️‍♂️🔍”。 BGD的优点： - 准确的参数更新。 缺点： - 训练速度较慢，尤其对于大型数据集。 2. 随机梯度下降（SGD） 🤖 SGD在每次迭代中仅使用单个样本计算梯度，并立即更新参数。这导致参数更新的不稳定性，但可以加速训练。SGD的表情符号是：“🤪🏃‍♂️”。 SGD的优点： - 训练速度快。 缺点： - 参数更新不稳定，可能会收敛到次优解。 3. 小批量梯度下降（MBGD） 🤯 MBGD使用中等大小的批量数据来计算梯度，并更新参数。这是一种折中方法，既提供了相对准确的参数更新，又降低了运行时间。MBGD的表情符号是：“🤔🏃‍♀️”。 MBGD的优点： - 较快的训练速度。 - 相对稳定的参数更新。 缺点： - 仍可能收敛到次优解。 以上是梯度下降法的变种，每种都有其优缺点。选择哪种算法取决于具体问题的需求和数据集的大小。希望这能帮助你更好地理解和选择优化方法！ 🤓🚀