人工智能AI面试题-4.2请问⼈⼯神经⽹络中为什么ReLU要好过于tanh和Si

4.2请问⼈⼯神经⽹络中为什么ReLU要好过于tanh和Sigmoid function？ 🤖 解答: 首先，我们来看一下Sigmoid、tanh和ReLU的函数图📊： 1. **Sigmoid和tanh的劣势**：   当采用Sigmoid等函数时，计算激活函数（指数运算）时需要大量计算，而在反向传播中计算误差梯度时，求导涉及到除法和指数运算，导致计算量相对较大。相比之下，采用ReLU激活函数能够节省大量计算资源⚡。 2. **深度网络的挑战**：   在深度神经网络中，使用Sigmoid函数时，容易出现梯度消失的问题。这意味着当Sigmoid函数接近饱和区时，导数趋于0，导致信息丢失。这种现象被称为饱和，会阻碍深度网络的训练。而ReLU不会出现这种饱和趋势，不容易出现极小的梯度值。 3. **稀疏性和过拟合**：   ReLU会将某些神经元的输出设为0，从而使网络更加稀疏，并减少了参数之间的依赖关系，有助于缓解过拟合问题。此外，ReLU还有一些生物解释方面的理论。 此外，现今的主流做法是引入批归一化（batch normalization）🧪，以确保每一层网络的输入具有相似的分布。最新的研究发现，在引入跳跃连接（bypass connection）之后，改变批归一化的位置可能会带来更好的效果。对此，感兴趣的人可以查阅相关论文以获取更多信息。 希望以上解答能够满足你的需求，如果还有其他问题，请随时提出。 🤓👍