视觉注意力机制综述

Target of this course

QKV (Question-Knowledge-Value)

QKV 是一种注意力模型，它将输入文本分解为三个部分：

1. 问题（Question）：提出问题，以便更好地理解文本的意图。
2. 知识（Knowledge）：提取文本中的知识，以便更好地理解文本的内容。
3. 价值（Value）：提取文本中的价值，以便更好地理解文本的意义。

QKV 模型可以帮助 AI 系统更好地理解文本，从而更好地完成任务

What is attention

Common attentions

self-attention:

STN:

Deformable convolution:

CBAM 空间注意力

Attention的分类方式

Applications

transformer

视觉骨干网络

局部感受域

长期相关性

空间适配性

通道适配性

LKC分成了三个部分：

DW、DW-D、1x1.

local、large range、channel

Self-surpervised Learning

Attention 自适应 tranfor learning

Potential directions