【AI Drive】天津大学副教授张长青：多模态融合的基础问题及算法研究

多模态融合基础问题及算法

数据维度越来越高，数据种类越来越多

多传感器机器人

多视图机器学习是多源信息融合的关键技术基础，其研究水平直接关系到人工智能在众多重要领域的应用效果

多模态融合的主要目标：利用多源信息有效发现潜在模式

多视图往往可以为数据分析任务提供更为充分的信息

进行模式识别，分类，聚类本质上，得到真正的数据，我们得到的数据分布方法是不同视图的

多模态数据融合策略，

首先一致性，

多模态数据高阶张量模型

张量方法，方法很好

互补性

主动增强

兼容性

为什么要兼容性

实际应用中模态缺失，不对齐

多模态数据缺失情况比较复杂

用最简洁的形式表示最全面的信息

条件独立性是一种简化

概率模型转化为能量模型

通过两个方面增强模型泛化性能：信息完备性、表示结构性（简单归纳偏置）

缺失模态过滤

模态补全，面向缺失模态的生成对抗模型

根据约束分布近似：对多视图编码进行合理化约束，达到完备且合理

最近邻补全

可视化表示

聚类程度越高越好

使用隐表示模型，解决数据复杂缺失

使用结构化表示模型，解决CT影像多特征融合分类

多模态融合理论分析较少

多模态融合的可解释性较弱