咕泡P5:人工智能CV+NLP技术项目实战

多模态（MultiModal ）

• 多种不同的信息源（不同的信息形式）已报名咕泡ai底部评 中获取信息

五个挑战

1. 表示（Multimodal Representation）的意思，比如shift旋转尺寸不变形，图像中研究出的一种表示

• 表示的冗余问题

• 不同的信号，有的象征性信号，有波信号，什么样的表示方式方便多模态模型提取信息

表示的方法

• 联合表示将多个模态的信息一起映射到一个统一的多模态向量空间

• 协同表示负责将多模态中的每个模态分别映射到各自的表示空间，但映射后的向量之间满足一定的相关性约束。