本期为TechBeat人工智能社区第484期线上Talk！

北京时间3月23日(周四)20:00，东京工业大学通信工程系硕士——王一栋的Talk将准时在TechBeat人工智能社区开播！他与大家分享的主题是: “半监督学习的自适应阈值法”，届时将分享半监督学习算法FreeMatch和团队另一篇解决伪标签数量与质量的trade-off的半监督论文SoftMatch。

Talk·信息

主题：半监督学习的自适应阈值法

嘉宾：东京工业大学通信工程系硕士 王一栋

时间：北京时间 3月23日 (周四) 20:00

地点：TechBeat人工智能社区

http://www.techbeat.net/

完整版怎么看

扫描下方二维码，或复制链接https://datayi.cn/w/q9A22eyR浏览器，一键完成预约！上线后会在第一时间收到通知哦

Talk·介绍

在大模型被广泛应用的今天，研究半监督学习还有意义吗？我们的答案是：有的。即使大模型大行其道，在下游任务微调时，仍然不可避免要遇到标签数据稀少的问题，而半监督学习旨在只有少量标注数据的时候利用大量无标注数据提升模型的泛化性。我们的NeurIPS 2022的工作 USB中已验证了预训练模型在半监督场景下的局限性。为此，我们在ICLR2023中更进一步，提出了更好的半监督学习算法FreeMatch。

近年来，基于阈值的伪标签方法的半监督方法取得了巨大的成功。然而，我们认为现有的方法可能无法有效地利用未标记的数据，因为它们要么 使用预定义 / 固定阈值，要么 使用专门的启发式阈值调整方案。这将导致模型性能低下和收敛速度慢。在本此演讲中，我们首先介绍了半监督学习的背景与意义。接着我们分享了几个半监督学习的经典基线方法。然后我们理论分析一个简单的二分类模型，以获得关于理想阈值和模型学习状态之间关系的直觉。基于分析，我们因此提出 FreeMatch 来根据模型的学习状态以自适应方式 调整置信度阈值。我们进一步引入自适应类公平正则化惩罚，以鼓励模型在早期训练阶段进行多样化预测。广泛的实验表明FreeMatch的优越性，尤其是当标记数据极其稀少时。除了FreeMatch以外，我们还简单分享了团队另一篇解决伪标签数量与质量的trade-off的半监督论文SoftMatch。

Talk·预习资料

半监督学习统一开源库

https://github.com/microsoft/Semi-supervised-learning

Talk·提问交流

在Talk界面下的【交流区】参与互动！留下你的打call🤟和问题🙋，和更多小伙伴们共同讨论，被讲者直接翻牌解答！

你的每一次贡献，我们都会给予你相应的i豆积分，还会有惊喜奖励哦！

Talk·嘉宾介绍

王一栋于2015年9月至2019年6月就读于南京大学计算机科学与计算系（本科），在此期间多次获得南京大学人民奖学金等奖项，于2020年9月至2022年10月就读于东京工业大学信息通信系（硕士），获得东京工业大学通信工程系优秀毕业生称号。曾在微软亚洲研究院实习一年。以第一作者(含共同)发表高质量论文5篇，谷歌引用241。领导的开源项目TorchSSL[1]和USB[2]在知名开源网站github上总共获得1500多个星标。将于2023年9月入学北京大学攻读博士学位。

个人主页：https://qianlanwyd.github.io/

-The End-

关于TechBeat人工智能社区

TechBeat (www.techbeat.net) 是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验，加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地，分享自己最新工作的沃土，在AI进阶之路上的升级打怪的根据地！

更多详细介绍>>https://mp.weixin.qq.com/s/pTbCK_MeTk05jK2yx1RTrQ