清华阿里等发布PoSynDA: 多假设姿态合成域自适应的鲁棒3D人体姿态估计

以下内容来自小六的机器人SLAM学习圈知识星球每日更新内容

点击领取学习资料 → 机器人SLAM学习资料大礼包

#论文##开源# ACM Multimedia 2023|清华阿里等发布PoSynDA: 多假设姿态合成域自适应的鲁棒3D人体姿态估计

【PoSynDA: Multi-Hypothesis Pose Synthesis Domain Adaptation for Robust 3D Human Pose Estimation】

发表单位：清华大学、阿里DAMO、卡内基梅隆、华盛顿大学、浙大

开源代码：GitHub - hbing-l/PoSynDA

文章链接：[2308.09678] PoSynDA: Multi-Hypothesis Pose Synthe...

由于目标域训练集中2D - 3D姿态对的稀缺性，目前的3D人体姿态估计器在适应新数据集方面面临挑战。为了克服这个问题，我们提出了多假设位姿合成域适应( PoSynDA )框架，该框架不需要大量的目标域注释。PoSynDA利用以扩散为中心的结构，模拟了目标域中的三维姿态分布，填补了数据多样性的空白。

通过融合多假设网络，创建多样化的姿态假设，并将其与目标域进行对齐。特定目标源增强通过解耦尺度和位置参数从源域中获取目标域分布数据。师生范式和低阶适应进一步细化了这一过程。PoSynDA在基准测试程序Human3.6 M、MPI - INF - 3DHP和3DPW上表现出优异的性能，甚至可以与目标训练的MixSTE模型相媲美。这一工作为三维人体姿态估计的实用化铺平了道路。