元学习中n_ways,k_shots的n与k选择

最近在做元学习相关的任务，在运行后发现网络好像无法拟合，经过分析感觉是数据量太少了，在元学习中也就是k太小，但我使用元学习的目的是为了在遇到少量且未知的样本情况下，面对这些“异常”，模型可以快速拟合。

总结一下可以分为以下几种情况：

1. 数据集大小： 如果数据集较小，通常需要选择较小的n和k值，以免模型过度拟合。例如，n=5、k=1可能是比较好的初始值。

2. 类别数量： 如果类别数量较多，你可能需要选择较小的n，以确保模型能够更好地学习每个类别之间的差异。例如，n=5适用于类别数量较多的情况。

3. 任务复杂性： 如果任务比较简单，可以尝试较小的n和k值。如果任务非常复杂，可能需要增加n和k值，以便模型能够更充分地学习类别之间的变化

4. 模型架构： 不同的模型架构可能对n和k的敏感度不同。一些模型可能需要更多的数据来学习复杂的关系，而另一些模型可能能够更有效地从少量样本中学习。

5. 交叉验证： 通过交叉验证来选择合适的n和k值也是一个好方法。可以尝试不同的n和k组合，并在验证集上进行评估，选择在验证集上表现最好的组合，这种方法可能代价比较大，但应该能找到较优解。

我的数据集上类（n）相对较少，根据上面分析完，可能更符合第三种，本身任务较复杂，所以需要提高k的数量来让模型尽量达到初步能够拟合的程度。

最后再附上一张在Meta-Dataset这篇论文中找到的十分不错的图，阐明了n与k的影响，详情可以查看引用。

上图中表明，在n增多（需要分类的种类增多）的时候，网络准确度都是在下降的，重点是在于k，可以看到k在增多的时候，proto-maml相较于其他网络都存在优势，当k大于20之后才开始显现疲态，准确度下降不再位居高位，甚至最终比knn都低，这意味着，随着k值增大（过程越来越接近fine-tune，过拟合情况加深），样本量增多，越接近fine-tune，对于maml这类元学习算法就越不友好，这也应证了maml是适用于少样本的。

看来n与k的选择也有点门道。

https://arxiv.org/abs/1903.03096v1