欢迎光临散文网 会员登陆 & 注册

Talk | 新加坡国立大学博士侯皓文:RWKV论文解读 - 在Transformer时代重塑RNN

2023-07-07 10:56 作者:TechBeat人工智能社区  | 我要投稿


本期为TechBeat人工智能社区510线上Talk!

北京时间7月5(周三)20:00 新加坡国立大学博士—侯皓文的Talk将准时在TechBeat人工智能社区开播!他与大家分享的主题是: RWKV论文解读 - 在Transformer时代重塑RNN,届时将解密RWKV注意力机制。

Talk·信息

主题:RWKV论文解读 - 在Transformer时代重塑RNN

嘉宾:新加坡国立大学博士 侯皓文

时间:北京时间 7月5日(周三)20:00
地点:TechBeat人工智能社区
http://www.techbeat.net/



Talk·介绍

RWKV作为一种新型的大语言模型架构,具有O(1)的推理复杂度,将会降低大模型的硬件限制和部署成本,将推动大模型进行一次架构迁移!


Talk大纲

1. 研究背景

2. 模型架构

3. 关键结果

4. 总结与展望

5. 代码解密RWKV注意力机制


Talk·预习资料

论文链接:

https://arxiv.org/abs/2305.13048


Talk·提问交流

在Talk界面下的【交流区】参与互动!留下你的打call🤟和问题🙋,和更多小伙伴们共同讨论,被讲者直接翻牌解答!

你的每一次贡献,我们都会给予你相应的i豆积分,还会有惊喜奖励哦!



Talk·嘉宾介绍

侯皓文

新加坡国立大学博士


2017年毕业于新加坡国立大学,获得博士学位。随后,他加入了腾讯担任应用研究员,致力于搜索、自然语言处理和多模态领域的研究和实践。在微信搜索、微信支付和微信视频号等项目中扮演了重要角色。他参与了多个算法项目的落地,为腾讯的核心业务快速发展提供了有力支持。他的研究和实践贡献了搜索引擎、语言处理和多模态技术的发展,并为用户提供了更好的体验。目前,作为RWKV基金会的成员,继续在相关领域进行研究和贡献。他持续关注最新的技术趋势,并致力于推动科技创新和社会进步。

个人主页: 

https://www.linkedin.com/in/haowen-hou/


-The End-


关于TechBeat人工智能社区


TechBeat (www.techbeat.net) 是一个荟聚全球华人AI精英的成长社区。 我们希望为AI人才打造更专业的服务和体验,加速并陪伴其学习成长。 期待这里可以成为你学习AI前沿知识的高地,分享自己最新工作的沃土,在AI进阶之路上的升级打怪的根据地! 


Talk | 新加坡国立大学博士侯皓文:RWKV论文解读 - 在Transformer时代重塑RNN的评论 (共 条)

分享到微博请遵守国家法律