Self-Attention 自注意力机制

Self-attention是一种机器学习中常用的技术，通常用于序列到序列的任务，如机器翻译、文本摘要、问答等。Self-attention 的目的是根据输入序列中各个位置之间的依赖关系，计算出每个位置的特征向量表示，从而得到一个表示整个序列的向量。在自然语言处理领域，self-attention被广泛应用于Transformer模型中，取得了很好的效果。