论文涨点新结构：ConvNeSt 来了！纯卷积视觉新主干

ConvNeSt 来了！纯卷积视觉新主干 超越ConvNeXt、SLaK、RevCol！本文总结了3个指导方针，并构建一个具有NeSted模块设计的纯卷积神经网络：ConvNeSt，它对12×宽的特征执行卷积，有助于扩大感受野并捕获丰富的空间信息，在分类/检测/分割上表现出色！ Transformer 是在资源丰富的条件下处理多模态数据的首选架构。 另一方面，在涉及资源受限的单模态视觉任务的场景中，卷积神经网络（ConvNet），尤其是较小规模的网络，由于针对卷积算子量身定制的高度优化的加速和部署方案，可以提供硬件友好的解决方案。 现代事实上的 ConvNet 采用 ViT 风格的块级设计，即带有 token mixer和 MLP 的顺序设计。 然而，这种设计选择似乎更多地受到 Transformer 在多模态领域中的突出地位的影响，而不是受到 ConvNet 固有的适用性的影响。 在这项工作中，我们提出将更多比例的计算资源分配给空间卷积层，并进一步总结了 3 个指导方针来指导此类 ConvNet 设计。 具体来说，我们观察到 12× 宽高维特征上的卷积有助于扩大感受野并捕获丰富的空间信息，并相应地设计了一种具有嵌套设计的 ConvNet 模型，称为 ConvNeSt。 ConvNeSt 在跨不同模型变体的 ImageNet 分类、COCO 检测和 ADE20K 分割任务中优于 ConvNeXt，证明了重新审视 ConvNet 块设计的可行性。 作为小规模的学生模型，ConvNeSt 通过知识蒸馏也取得了比 ConvNeXt 更强的性能。

论文地址：https://openreview.net/forum?id=aU59FP3Q1e 更多论文创新点加微信群：Lh1141755859 公众号：CV算法小屋