创新点：
①通过finetune让ResNet-50达到Transformer的准确率
以下文章已经描述得很清晰，就不再赘述了：
https://zhuanlan.zhihu.com/p/455913104
简述涨点方法：
①训练epoch从90扩大到300
②借鉴Swin-T的训练策略
③反瓶颈层加大卷积核7-1-1
④采用depthwise卷积
④ReLU替换为GELU
总体三个模型的结构
但是好像并不在各种任务通用：
论文笔记——[CVPR2022]A ConvNet for the 2020s
-
论文笔记——Encoding in Style: a StyleGAN Encoder for Image-to-Image Translation
创新点： ①新的编码器结构，把图像投影到W+空间（与以往的先还原图像，再编辑不同，本方法在W+空间中编辑）。 ②证明了图像的W空间，可以提供控制和编辑的能力 ③采用了一个预先训练...
-
论文笔记——Pale Transformer: A General Vision Transformer Backbone with Pale-Shaped Attention
创新点：以ViT作为backbone，提出了一种在Pale-Shaped内进行自注意力的结构，能显著降低计算和记忆成本 首先将输入特征图在空间上分割成多个Pale-Shaped的区域。每个Pale-Shaped...
-
论文笔记——Transformer in Convolutional Neural Networks
创新点： ①层次多头自注意力机制，减少计算/空间复杂度 ②结合了transformer和CNN的优势 总体结构 GAP：全局平均池化 FC：全连接层 DW Conv：深度可分离卷积 IRB：反向残差瓶颈层 ...
-
论文笔记——[ICML2018]Noise2Noise: Learning Image Restoration without Clean Data
创新点： ①不需要干净样本的图片降噪 ②可以仅仅通过无标签的噪声信号重建无噪的信号，而不需要干净的样本，并且性能上超越了运用干净数据进行训练的性能。 ③具有一定的统计学原理 ...
![论文笔记——[ICML2018]Noise2Noise: Learning Image Restoration without Clean Data](https://blog.liguanxin.cn/wp-content/uploads/2022/04/20180715170032-150x81.png)
-
论文笔记——Local-to-Global Self-Attention in Vision Transformers
创新点： ①多尺度图像多路径的Transformer，最后汇总以保证局部和全局特征提取 ②每个stage多粒度从局部到整体的推理 CNN的多粒度连接： 每个阶段分辨率除以4(2*2)，channel乘以2...
-
论文笔记——Fast Vision Transformers with HiLo Attention
创新点： ①高频捕捉局部精细数据，低频聚焦全局结构 ②为了区分不同频率的独特性质，让attention中的不同头分为两组，分别进入进入高\低频注意力模块，高频通过局部窗口计算自注意...
-
论文笔记——[ICCV 2021]Learning for Scale-Arbitrary Super-Resolution from Scale-Specific Networks
创新点： ①从固定尺度中学习任意尺度的超分，且能处理不匀称尺度(高宽不成比例)。 ②通过对现有超分网络加入插件模块实现任意尺度的超分，该模块由多尺度感知的特征自适应块和一个...
![论文笔记——[ICCV 2021]Learning for Scale-Arbitrary Super-Resolution from Scale-Specific Networks](https://blog.liguanxin.cn/wp-content/uploads/2022/07/微信截图_20220725143207-150x86.png)