创新点：
①通过finetune让ResNet-50达到Transformer的准确率
以下文章已经描述得很清晰，就不再赘述了：
https://zhuanlan.zhihu.com/p/455913104
简述涨点方法：
①训练epoch从90扩大到300
②借鉴Swin-T的训练策略
③反瓶颈层加大卷积核7-1-1
④采用depthwise卷积
④ReLU替换为GELU
总体三个模型的结构
但是好像并不在各种任务通用：
论文笔记——[CVPR2022]A ConvNet for the 2020s
-
论文笔记——Practical Blind Denoising via Swin-Conv-UNet and Data Synthesis
（CVPR2022的去噪论文） 创新点： ①本文提出Swin-Conv模块，将DRUNet和SwinIR的结合起来，并插入到UNet架构中，还设计了一个实用的噪声退化模型，最终在盲图像去噪上表现SOTA。 ②...
-
论文笔记——Transformer in Convolutional Neural Networks
创新点： ①层次多头自注意力机制，减少计算/空间复杂度 ②结合了transformer和CNN的优势 总体结构 GAP：全局平均池化 FC：全连接层 DW Conv：深度可分离卷积 IRB：反向残差瓶颈层 ...
-
论文笔记——[CVPR 2022]Vision Transformer with Deformable Attention
创新点： ①以数据依赖的方式在自注意力计算中选择K和V对。 ②通过一个网络学习offset坐标，采用双线性插值计算位置。 与其他网络的对比(Attention模块) (a) 对所有patch采用相同的...
![论文笔记——[CVPR 2022]Vision Transformer with Deformable Attention](https://blog.liguanxin.cn/wp-content/uploads/2022/07/微信截图_20220702214659-137x150.png)
-
论文笔记——Conformer: Local Features Coupling Global Representations for Visual Recognition
创新点：同时利用CNN的捕获局部特征的优点和Transformer捕获长距离特征的优点。 上图中的(c)表示整个网络结构的并发构型。 (b)表示，两个分支的初始特征是相同的，沿着两个分支以...
-
论文笔记——[CVPR 2022 Oral]MetaFormer is Actually What You Need for Vision
创新点： ①Transformer中的自注意力机制没用，结构才有用 ②即便把Attention模块换成Pooling，也能得到提升 总体结构 本文把Attention改成池化层 公式： 代码： 训练策略 数据...
![论文笔记——[CVPR 2022 Oral]MetaFormer is Actually What You Need for Vision](https://blog.liguanxin.cn/wp-content/uploads/2022/07/微信截图_20220701190629-150x111.png)
-
论文笔记——CMT: Convolutional Neural Networks Meet Vision Transformers
创新点： ①提升性能，相比ViT-S参数更少的情况下精度更高 ②transformer和CNN的混合网络，利用transformer来捕获远程特征关系，CNN捕获局部特征关系 CMT (CNNs meet transformers) ...
-
论文笔记——HIPA: Hierarchical Patch Transformer for Single Image Super Resolution
创新点： ①对LR图像处理成分层次的子块，通过迭代的网络，形成从小到大不同size的区域。 ②基于通道注意力的位置编码策略。 ③基于卷积的多层注意力组 总体结构 分层patch的Transfor...
