在昨天的推送中，我们盘点了过去一年中TechBeat社区上颇具人气的讲者和技术团队~与此同时，还有不少通过文章的形式来宣传自己工作的朋友，我们同样根据其站内文章阅读数量，新媒体传播度等因素，精选出10篇备受大家关注的工作，以此感谢各位在学术、工业界尝试中带来的突出贡献。

最受关注工作榜单 ✦

工作亮点&主要贡献 ✦

 1. Enabling Lightweight Fine-tuning for Pre-trained Language Model Compression based on Matrix Product Operators 

作者：刘沛羽&高泽峰（中国人民大学）

受到量子力学中处理量子多体问题的矩阵乘积算符的启发，本文提出了一种新颖的预训练语言模型压缩方法，针对BERT与GPT这种堆叠Transformer结构的网络：综合学术界目前已有的两种解决思路，在实现轻量化微调的同时起到压缩模型参数的效果。

中文解读：

当模型压缩遇上量子力学——基于矩阵乘积算符的预训练语言模型轻量化微调

 2. Dynamic Slimmable Network，DS-Net

作者：李长林&梁小丹（蒙纳士大学、 中山大学等）

本工作提出的动态宽度可变网络（Dynamic Slimmable Network，DS-Net），成功解决了以往动态网络剪枝（dynamic pruning）算法中硬件效率低下和计算浪费的问题。通过在测试时根据不同的输入，预测性地调整网络的滤波器数量，实现良好的硬件效率。

中文解读：

CVPR'21 Oral | 动态slimmable网络：高性能的网络轻量化方法！对比slimmable涨点5.9%！

 3. SpinNet: Learning a General Surface Descriptor for 3D Point Cloud Registration 

作者：胡庆拥&敖晟&郭裕兰（牛津大学&中山大学等）

本工作提出了SpinNet用于学习具有旋转不变性、高描述性且泛化性能强的特征描述子。大量的实验结果表明该方法在不同的数据集之间具有强泛化能力，所学习到的特征描述子也可以取得优异的3D点云配准结果。未来的工作将包括引入关键点检测器以及进一步拓展到全卷积网络结构。

中文解读：

CVPR 2021 | SpinNet: 学习用于3D点云配准的强泛化能力的特征描述子

 4. Transformer Tracking 

作者：陈鑫（大连理工大学）

这篇工作提出了一个简单高效的跟踪算法TransT。得益于注意力机制建立长距离依赖、融合全局信息的特点，基于注意力机制的特征融合网络有效聚合目标和搜索区域的全局信息，使得算法在保持快速运行的同时，精度得到了显著提升。该工作没有使用过多技巧和调参，希望能为研究者们提供一个干净的baseline。

中文解读：

CVPR 2021 | 大连理工大学卢湖川团队提出TransT: Transformer Tracking

 5. LiDAR R-CNN: An Efficient and Universal 3D Object Detector 

作者：王峰&王乃岩（图森未来）

该工作提出了一种快速且通用的第二阶段3D检测器，仅需增加4.5ms的延迟，即可将模型性能提升2-4个点，它只依赖于第一阶段检测器的预测结果和原始点云，而无需提取特征和再次训练，所以它可以灵活地用在各种现有3D检测器上。

中文解读：

CVPR 2021 | 图森未来团队提出LiDAR R-CNN：一种快速、通用的二阶段3D检测器

 6. Learnable Graph Matching: Incorporating Graph Partitioning with Deep Feature Learning for Multiple Object Tracking 

作者：何嘉伟&王乃岩（图森未来）

本文提出了一种基于图匹配的多目标跟踪方法 (GMTracker) ，来提升多目标跟踪的性能。该方法将多目标跟踪问题定义为detection graph和tracklet graph之间的图匹配问题，相比传统的二分图匹配方法，利用边与边的二阶相似度，在遮挡严重的情况下实现更为鲁棒的匹配和关联。

中文解读：

CVPR 2021 | 图森未来与中科院自动化所提出GMTracker：一种基于图匹配的多目标跟踪方法

 7. UMEC: Unified Model and Embedding Compression for Efficient Recommendation Systems 

作者：谈建超（快手）

该工作针对推荐场景提出一种一体化的推荐模型压缩框架（UMEC），对推荐系统里的多个模块进行联合压缩优化，将推荐系统里开源的benchmark模型压缩了三倍且不损失模型精度，多个压缩尺度下均达到当前最优的模型压缩效果，其相关的技术已经在快手场景落地。

中文解读：

ICLR 2021 | 快手联合多所高校提出: 一体化模型压缩框架(UMEC), 加速推荐场景落地

 8. NGC: A Unified Framework for Learning with Open-World Noisy Data 

作者：吴志凡&蒋建文（阿里达摩院）

本文提出了一个开放场景下基于带噪数据的学习框架(NGC)，其通过图结构进行基于模型置信度和数据几何结构的两种策略组合完成噪声清理，可以同时适用于闭集、开集下的带噪学习任务，也可以应用在带有OOD的测试数据上完成开集分类任务。该方法在多个数据集上取得了显著效果，超过了以往的先进方法。

中文解读：

ICCV 2021 Oral | 阿里达摩院视觉实验室提出NGC：统一的开集带噪数据学习框架

 9. Rethinking and Improving Relative Position Encoding for Vision Transformer 

作者：吴侃&彭厚文（中山大学、微软亚洲研究院等）

在本工作中，研究人员回顾了先前相对位置编码的相关工作，针对Vision Transformer，提出了简单且轻量的二维相对位置编码。在不需要调整任何训练超参数的情况下，该论文提出的二维相对位置编码能给图像分类的DeiT模型和目标检测的DETR模型，分别带来1.5% Top-1 Acc和1.3% mAP的稳定性能提升。同时，这篇论文分析了位置编码中影响性能的关键因素，给出了针对Vision Transformer中相对位置编码设计的指导性建议。

中文解读：

ICCV 2021 | Vision Transformer中的相对位置编码

 10. Cycle Self-Training for Domain Adaptation 

作者：刘泓（清华大学）

在本文中，作者首先研究了标准自训练在分布偏移条件下的技术挑战及根因。由此，提出用循环自训练(Cycle Self-Training)代替标准自训练，解决了领域自适应中分布偏移的问题。从理论上证明了循环自训练可以在扩张假设下工作，并证明了导致不变表征学习和标准自训练失效的困难情况。未来工作可以深入研究其他半监督学习技术的在非独立同分布(Non-IID)或开放分布(OOD)条件下的表现。

中文解读：

NeurIPS 2021 | Cycle Self-Training：领域自适应的循环自训练方法与理论

如果你也想让自己的工作被更多人熟知~欢迎你填写下方表单提交申请，或联系将门的工作人员（发送邮件到chenhongyuan@thejiangmen.com或添加工作人员微信chemn493），还可以在“将门创投”公众号后台回复“投稿”二字，获得投稿说明。我们会第一时间回复你！

• 收到稿件后，我们会立刻进行内部审核。筛选通过后，将第一时间发表在TechBeat社区网站（更优质内容将同步发表在“将门创投”公众号等新媒体渠道，让更多人看到！）

• 我们还将选择部分在研究分享及科研心得方向，对用户启发性更大的文章，做原创性内容奖励。

希望大家都能在AI路上，

Tech不停，Beat不止！

关于TechBeat人工智能社区

TechBeat (www.techbeat.net) 是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ