1 Introduction

1.1 What is a Neural Network

• 最小单元的神经网络

• ReLU( Rectified Linear Unit )函数 - 线性整流函数

• 房价预测模型例子

只要有足够多的训练数据， 神经网络就可以很好的拟合出一个函数建立输入x到输出y的映射关系

• 监督学习：就是把一个输入x和输出y映射起来

1.2 Supervised learning with Neural Network

• Supervised learning

CNN更适合图像识别 RNN更适合时序数据的处理，即音频和自然语言处理

• Neural network example

• Scale drives deep learning progress

规模驱动深度学习的进展，规模包含数据规模和模型规模

在数据量不大的区间内，各种模型算法的性能排名是不固定的，这取决于对此部分数据集特征提取的能力

除了数据与算力，算法的更新也推动了DL的发展，缩短了模型训练的时间，更多想法可以被验证和发布