Encoder

分为两个部分：word embedding 和 position encoding
word embedding：这种技术会把单词或者短语映射到一个n维的数值化向量，初始化后跟着训练或者使用word2vec这种已经有的看具体任务的效果.
position encoding：构造一个跟输入embedding维度一样的矩阵，然后跟输入embedding

上述公式表示在每个词语的词向量的偶数位置添加sin变量，奇数位置添加cos变量，以此来填满整个PE矩阵，然后加到input embedding中去，这样便完成位置编码的引入了。使用sin编码和cos编码的原因是可以得到词语之间的相对位置.

Self-attention

注意力机制（Attention Mechanism）源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制。人类视网膜不