唐宇迪深度学习项目实战视频课程-Seq2Seq序列生模型

这两个函数的微分比较好计算，我想是它们称为常见激活函数的一个重要原因。将线性模型的输出在输入到上述非线性函数中我们就可以得到更加具有弹性的模型了。如果激活函数使用Sigmoid函数，那一个神经元的数学表达式就可以表达为，