教程简介及目录见： 从零实现BERT、GPT及Difussion类算法：文章简介及目录

本章完整源码见https://github.com/firechecking/CleanTransformer/blob/main/CleanTransformer/transformer.py

这一章将参考《attention is all you need》论文，实现Multi-head Attention、LayerNorm、TransformerBlock，有了这章的基础后，在下一章就可以开始搭建Bert、GPT等模型结构了

Multi-head Attention

参考：https://arxiv.org/abs/1706.03762

Attention介绍（选读）

• 先简单介绍下一般性的Attention，如果已经了解的同学可以跳过

• Attention字面意思是注意力，也就是让模型能够学习到一个权重，来将输入选择性的传入下一层

• 比较常用的操作如下：

• 首先假定输入tensor为q, k, v，其中

• self-attention是attention的一个特例：q=k=v

• 以下给出基础attention的伪代码

Multi-head Attention基础原理

由以上论文截图可知，

所以实现步骤如下（可以和上文基础Attention对比着看）：

1. 对Q，K，V进行Linear：得到新的Q、K、V的size不变

2. Multi-Head拆分：

3. 使用Q、K计算Weight（其中第二行是Transformer在attention基础上增加的一个scaling factor）

   
   

4. 使用Weight和V，计算新的V

   

5. 对V进行维度变换

   

Multi-head Attention实现代码

• 代码不是太复杂，结合上文和注释，应该能很容易看懂

LayerNorm

参考

• https://arxiv.org/abs/1607.06450

• https://arxiv.org/abs/1607.06450

• https://pytorch.org/docs/stable/generated/torch.nn.LayerNorm.html

• https://blog.csdn.net/xinjieyuan/article/details/109587913

BatchNorm与LayerNorm的差异

• batch normalization

• 对每一个输入，先在mini-batch上计算输入的均值、标准差，然后当前层的每个输入值使用均值、标准差进行正则计算

• 公式如下

• 先在mini-batch上计算出每个位置的均值、标准差，其中为mini-batch大小

• 然后对每个值应用变换

• 提示：这里之所以有下标i，是因为batch normalization是在batch内，对不同样本的相同位置进行归一

• layer normalization

• batch normalization是在batch内，对不同样本的相同位置进行归一；而layer normalization是在layer内，对同一个样本的不同位置进行归一

• batch normalization不在整个mini-batch上计算均值、标准差，而是在当前层的当前样本计算输入的均值、标准差，然后对当前层的当前样本输入值使用均值、标准差进行正则计算（也可以理解为Layer Normalization是和batch无关，而是对每个样本单独处理）

• 公式如下

• 先在单个样本上计算出每一层的均值、标准差，其中为当前layer的大小hidden units数量

• 然后对每个值应用变换

Layer Normalization代码实现

• 代码如下

• eps为一个较小值，是为了防止标准差std为0时，0作为除数

• 从上文公式看出，标准差是计算的均值后开根号，所以代码中有std = self._mean((x - mean).pow(2) + self.eps).pow(0.5)，是复用了self._mean()的计算均值操作

• 为了和pytorch的LayerNorm保持一致，这里同样可以接受normalized_shape参数，表示Normalization要在哪几个维度上进行计算，可以结合_mean()函数中的代码进行理解

TransformerBlock

参考

• https://arxiv.org/abs/1706.03762

Transformer原理

• 从《Attention Is All You Need》论文中这张图可以看出以下几点信息：

• Encoder、Decoder基本相同，最大差别是Decoder上多了一层Multi-Head Attention

• 每一个TransformerBlock只由Multi-Head Attention、Add、LayerNorm、Linear这4种操作组合而成

• 在上文已经实现的Multi-Head Attention、LayerNorm基础上，再来实现TransformerBlock就很简单了

• 为进一步简化，在本章我们先只实现Encoder，并且省略掉mask等额外操作。到之后讲到GPT时再来实现Decoder以及更完善的TransformerBlock

Transformer代码实现

• 代码主要由attention+Add+Norm，以及FFW+Add+Norm这2个部分组成，其中ffw是两层全连接中间夹一个ReLU激活函数

• 从以上代码看出TransformerBlock还是非常简洁的，而Bert、GPT等模型就是对TransformerBlock的堆叠，这部分内容将放在下一章讲解