创新点：
①通过finetune让ResNet-50达到Transformer的准确率
以下文章已经描述得很清晰，就不再赘述了：
https://zhuanlan.zhihu.com/p/455913104
简述涨点方法：
①训练epoch从90扩大到300
②借鉴Swin-T的训练策略
③反瓶颈层加大卷积核7-1-1
④采用depthwise卷积
④ReLU替换为GELU
总体三个模型的结构
但是好像并不在各种任务通用：
论文笔记——[CVPR2022]A ConvNet for the 2020s
-
论文笔记——[ICML2018]Noise2Noise: Learning Image Restoration without Clean Data
创新点： ①不需要干净样本的图片降噪 ②可以仅仅通过无标签的噪声信号重建无噪的信号，而不需要干净的样本，并且性能上超越了运用干净数据进行训练的性能。 ③具有一定的统计学原理 ...
![论文笔记——[ICML2018]Noise2Noise: Learning Image Restoration without Clean Data](https://blog.liguanxin.cn/wp-content/uploads/2022/04/20180715170032-150x81.png)
-
论文笔记——[CVPR 2020]Learning Spatial Attention for Face Super-Resolution
创新点： ①空间注意力机制 ②加入鉴别器，可以让网络生成多尺度图像(SPARNetHD) 总体结构 主要由三个模块构成： 降尺度模块 特征提取模块 升尺度模块 低分图像首先经过双线性插...
![论文笔记——[CVPR 2020]Learning Spatial Attention for Face Super-Resolution](https://blog.liguanxin.cn/wp-content/uploads/2022/07/微信截图_20220712212242-150x38.png)
-
中心差卷积
首先描述一下普通卷积的公式： p0代表当前输入输出的位置，pn代表R的所有枚举。 w(pn)代表pn位置的卷积核权重 ，x(p0+pn)代表p0偏移了pn位置后取得值，权重和值乘积累加后得到y(p...
-
论文笔记——[CVPR 2022]Vision Transformer with Deformable Attention
创新点： ①以数据依赖的方式在自注意力计算中选择K和V对。 ②通过一个网络学习offset坐标，采用双线性插值计算位置。 与其他网络的对比(Attention模块) (a) 对所有patch采用相同的...
![论文笔记——[CVPR 2022]Vision Transformer with Deformable Attention](https://blog.liguanxin.cn/wp-content/uploads/2022/07/微信截图_20220702214659-137x150.png)
-
论文笔记——Practical Blind Denoising via Swin-Conv-UNet and Data Synthesis
（CVPR2022的去噪论文） 创新点： ①本文提出Swin-Conv模块，将DRUNet和SwinIR的结合起来，并插入到UNet架构中，还设计了一个实用的噪声退化模型，最终在盲图像去噪上表现SOTA。 ②...
-
论文笔记——Pale Transformer: A General Vision Transformer Backbone with Pale-Shaped Attention
创新点：以ViT作为backbone，提出了一种在Pale-Shaped内进行自注意力的结构，能显著降低计算和记忆成本 首先将输入特征图在空间上分割成多个Pale-Shaped的区域。每个Pale-Shaped...
-
论文笔记——[CVPR 2022 Oral]Restormer: Efficient Transformer for High-Resolution Image Restoration
创新点： ①解决高分辨率图像的图像恢复任务中transformer复杂度高的问题 ②在图像运动去模糊，去焦去模糊，图像去噪（高斯灰度/颜色去噪，和真实图像去噪）任务中取得sota ③self-at...
![论文笔记——[CVPR 2022 Oral]Restormer: Efficient Transformer for High-Resolution Image Restoration](https://blog.liguanxin.cn/wp-content/uploads/2022/11/网络-150x72.png)