有三AI-CV秋季划-模型算法组(2023年)
计算能力
首先,深度神经网络复杂,训练数据多,计算量大。深度神经网络中神经元多,神经元间连接数量也相当惊人。从数学的角度看,每个神经元都要包含数学计算(如Sigmoid、ReLU或者Softmax函数),需要估计的参数量也极大。语音识别和图像识别应用中,神经元达数万个,参数数千万,模型复杂导致计算量大。所以计算能力是深度学习应用的基础。
计算能力越强,同样时间内积累的经验就越多、迭代速度也越快,计算能力这种对于深度学习的支撑与推动作用是不可替代的。
算法
在计算能力变得日益廉价的今天,深度学习试图建立大得多也复杂得多的神经网络,我们可以把算法理解为深度学习的神经网络或是计算思维,这种神经网络越复杂,捕捉到的信号就越精确,目前比较常见的算法包括深度信念网络(Deep Belief Networks)、卷积神经网络(ConvolutionalNeural Networks)、受限玻尔兹曼机(Restricted BoltzmannMachine)