欢迎光临散文网 会员登陆 & 注册

深度学习【Kaggle新赛】有毒评论识别大赛指导班(NLP·文本分类)

2023-02-26 14:14 作者:吉小姐6  | 我要投稿

对比Transformer中的 positional encoder,Transformer主要是用它为Token提供离散的位置编码没有位置顺序的概念。而我们的位置编码,使用连续的空间位置作为输入,映射到了一个连续的高维空间。从而帮助后面的MLP网络封号的学习高频信息。

效果对比:
Complete Model V.S. No Position Encoding


深度学习【Kaggle新赛】有毒评论识别大赛指导班(NLP·文本分类)的评论 (共 条)

分享到微博请遵守国家法律