【授权转载】融合主题模型和动态路由的小样本学习方法 [上]

（1. 山东工商学院计算机科学与技术学院，烟台 264005；2. 山东工商学院信息与电子工程学院，烟台 264005；3. 山东省高等学校协同创新中心：未来智能计算，烟台 264005；4. 山东省高校智能信息处理重点实验室（山东工商学院），烟台 264005；5. 大连海事大学信息科学技术学院，大连 116026）

摘 要：针对小样本学习标注训练样本过少，导致特征表达力弱的问题，本文结合有监督主题模型（Supervised LDA，SLDA）和动态路由算法提出一种新的动态路由原型网络模型（Dynamic routing prototypical network based on SLDA，DRP⁃SLDA）。利用SLDA主题模型建立词汇与类别之间的语义映射，增强词的类别分布特征，从词粒度角度编码获得样本的语义表示。提出动态路由原型网络 （Dynamic routing prototypical network，DR⁃Proto），通过提取交叉特征利用样本之间的语义关系，采用动态路由算法迭代生成具有类别代表性的动态原型，旨在解决特征表达问题。实验结果表明，DRP⁃SLDA模型能有效提取词的类别分布特征，且获取动态原型提高类别辨识力，从而能够有效提升小样本文本分类的泛化性能。

关键词：小样本学习；元学习；原型网络；有监督主题模型；文本分类

引   言

        有监督深度学习需要大量的标注样本，然而标注样本获取代价昂贵；相反，人类能够在样本匮乏的情况下学习新知识。因此小样本学习（Few⁃shot learning，FSL）方法的研究得到广泛关注，其目标是在每个类别只有少量样本的情况下训练模型，但是在无法有效提取特征时，导致模型泛化性能下降，是小样本学习亟待解决的问题。早期研究者应用迁移学习微调预训练模型。近年来，元学习能够比较好地解决小样本学习问题，主要有基于度量的算法、基于数据增强的算法和基于模型优化的算法。其中，基于度量的小样本学习简单有效，在面向图像和文本的任务中得到广泛关注。Vinyals等提出匹配网络，通过分段训练策略迁移元知识生成以余弦距离度量的加权K⁃近邻分类器。Snell等提出原型网络，假设每个类的样本在度量空间中都存在原型，同属一个类别的样本均值向量作为该类的原型。Fort等提出高斯原型网络，将样本表示为高斯协方差矩阵，利用样本权重构造与类相关的度量函数。Gao等提出基于注意力的混合原型网络，设计了样本级别和特征级别的两种注意力机制，分别捕捉对分类更重要的样本和特征，提高关系分类模型在噪声数据集上的性能和鲁棒性。Sun等提出层次注意力原型网络，构建了特征、单词和样本 3种级别的注意力机制，分别赋予不同的权重分数，训练每个类的原型。度量学习应用于自然语言处理的不同领域，如单词预测、知识图谱以及任务型对话系统。有效提取不同粒度的词特征和样本特征，是基于度量的小样本学习需要解决的难点问题。本文从词粒度考虑不同类别的词分布特征，动态更新每类的原型，提出一种基于SLDA的动态路由原型网络模型（Dynamic routing prototypical network based on SLDA，DRP⁃SLDA）。利用SLDA主题模型识别词与类别之间的精准语义映射，获得每个类别的词分布特征。基于支持集和查询集，提出动态路由原型网络（Dynamic routing prototypical network，DR⁃Proto），旨在通过动态路由算法有效利用样本之间语义交叉特征训练动态原型，从而提升小样本文本分类的泛化性能。

1 DRP‑SLDA模型

1. 1 DRP‑SLDA模型框架

        C⁃way K⁃shot 表示含有个类别且每类有个标记样本的小样本分类问题。令 且 。从训练集选个类别，每类选个有标签样本  ，作为支持集 ，表示第个样本，为的类标签 ；每类另外选个无标签样本  作为查询集，表示第个样本，为的类标签。测试集由类的有标签支持集和无标签查询集构成。元学习方法仅从中采样1组支持集和查询集，样本过少模型难以学习良好特征表示。【Bao Y ,  Wu M ,  Chang S , et al. Few-shot Text Classification with Distributional Signatures[J].  2019.】引入源集辅助训练，增强特征表示，如图1所示。以20newsgroup数据集的3⁃way 2⁃shot任务为例，选3个类作为，其余 17个类作为。元训练时，从选 3 个类采样支持集和查询集，剩余14个类作为源集。元测试时，从中采样支持集和查询集，将中所有类的样本作为源集。DRP⁃SLDA模型框架如图 2所示，由Encoder和DR⁃Proto network构成。其中，Encoder利用SLDA主题模型增强词的分布特征，得到词的特征编码。DR⁃Proto network为本文提出的动态路由原型网络，利用动态路由算法提取支持集和查询集的样本交叉特征计算每类的原型。通过欧氏距离度量查询集与原型的相似性以分类预测。

1. 2 基于SLDA编码方法

        为获得每个类别的词分布特征，本文提出基于 SLDA 主题模型的词编码方法，即图 2 所示DRP⁃SLDA 模型框架中Encoder。

1.2.1 SLDA 主题模型

        SLDA主题模型的概率图模型如图3所示。

支持集表示第个样本，

为的标签。 其中为样本数，为类别数，为主题数，为第个样本的长度。表示第 个样本中第 个 词， 表示分配给  的主题， 为主题向量（ 为单词数）。 为样本的主题概率分布，为第个主题的词概率分布，为第个主题的类别 概率分布。 、和服从Dirichlet分布，其先验参数为α、β、γ。获得词的主题标号后，假设 且所在样本的类标签，通过统计频次计算 、和 ，有

              (1)

         (2)

              (3)

式中：表示样本的词分配给主题的概率；表示主题分配给词的概率；表示主题属于类别的概率。表示第个样本被赋予主题的次数；表示词被赋予主题的次数；表示类别被赋予主题的次数。为主题的Dirichlet先验；为词的Dirichlet先验；为类别的Dirichlet先验。。

1.2.2 基于SLDA 的编码表示

        小样本学习因样本匮乏难以较好学习词特征，由于SLDA主题模型的和识别词汇与类别之间的精准映射，基于SLDA的Encoder旨在从单词⁃类别分布中增强特征表示学习，如图4所示。SLDA模型提取单词在特定类分布特征，源集获取单词的通用性特征表示。通过双向长短期记忆网络（Bi⁃directional long short⁃term memory，BiLSTM）计算单词权重，将 word2vec后的单词加权求和获得样本特征表示。

     （4）

因B站最多允许100张图片(包括公式)，所以将本文拆成两半。