创新点：
①通过finetune让ResNet-50达到Transformer的准确率
以下文章已经描述得很清晰，就不再赘述了：
https://zhuanlan.zhihu.com/p/455913104
简述涨点方法：
①训练epoch从90扩大到300
②借鉴Swin-T的训练策略
③反瓶颈层加大卷积核7-1-1
④采用depthwise卷积
④ReLU替换为GELU
总体三个模型的结构
但是好像并不在各种任务通用：
论文笔记——[CVPR2022]A ConvNet for the 2020s
-
论文笔记——Swin Transformer: Hierarchical Vision Transformer using Shifted Windows
创新点： ①把transformer引入计算机视觉 ②把transformer中多头自注意力（MSA）模块替换成基于滑动窗口的模块 滑动窗口机制 红框窗口表示一个自注意力块，灰块在其中计算自注意力...
-
论文笔记——Fast Vision Transformers with HiLo Attention
创新点： ①高频捕捉局部精细数据，低频聚焦全局结构 ②为了区分不同频率的独特性质，让attention中的不同头分为两组，分别进入进入高\低频注意力模块，高频通过局部窗口计算自注意...
-
论文笔记——[ICCV 2021]Learning for Scale-Arbitrary Super-Resolution from Scale-Specific Networks
创新点： ①从固定尺度中学习任意尺度的超分，且能处理不匀称尺度(高宽不成比例)。 ②通过对现有超分网络加入插件模块实现任意尺度的超分，该模块由多尺度感知的特征自适应块和一个...
![论文笔记——[ICCV 2021]Learning for Scale-Arbitrary Super-Resolution from Scale-Specific Networks](https://blog.liguanxin.cn/wp-content/uploads/2022/07/微信截图_20220725143207-150x86.png)
-
论文笔记——SwinIR: Image Restoration Using Swin Transformer
创新点： ①把Transformer引入超分 ②SwinIR由浅层特征提取、深度特征提取和高质量的图像重建三部分组成。 网络结构 ①浅层特征提取：33卷积层 ②深层特征提取采用K个residual Swin T...
-
论文笔记——TVConv: Efficient Translation Variant Convolution for Layout-aware Visual Processing
（CVPR2022论文） 以前存在的问题：静态和动态卷积要么与布局无关，要么计算量大，不适用于特定于布局的应用程序，例如人脸识别和医学图像分割。 创新点： ①作者观察到人脸识别的...
-
论文笔记——[NeurIPS 2021]Focal Self-attention for Local-Global Interactions in Vision Transformers
创新点： ①通过距离来算自注意力，距离近的patch比较精细，距离远的比较粗糙，从而减少大分辨率图像的计算量 总体结构 总体结构与传统的Vit相差不大，每个patch大小为4×4，每个s...
![论文笔记——[NeurIPS 2021]Focal Self-attention for Local-Global Interactions in Vision Transformers](https://blog.liguanxin.cn/wp-content/uploads/2022/07/微信截图_20220701221616-150x56.png)
-
论文笔记——GAN Prior Embedded Network for Blind Face Restoration in the Wild
创新点： ①训练一个生成高质量人脸的GAN网络，然后放到U型结构的解码侧，再通过低分辨率图像输入U型结构中进行微调（以前的工作没有微调，指pixel2style2pixel）。 ②以前的工作没...
