有三ai深度学习之图像翻译GAN—理论与实践

这个非线性函数也被称为激活函数。常见的激活函数有，

这两个函数的微分比较好计算，我想是它们称为常见激活函数的一个重要原因。将线性模型的输出在输入到上述非线性函数中我们就可以得到更加具有弹性的模型了。如果激活函数使用Sigmoid函数，那一个神经元的数学表达式就可以表达为