创新点：
①多尺度图像多路径的Transformer，最后汇总以保证局部和全局特征提取
②每个stage多粒度从局部到整体的推理
CNN的多粒度连接：
- 每个阶段分辨率除以4(2*2)，channel乘以2，最后输出H/32*W/32
- 在经过LN层之后，分别通过三个路径降采样，之后每个特征图都采用基于窗口的多头自注意方法进行处理，并采用移动窗口划分(SW-MSA)(来自swin Transformer)
实验：用于图像分类和语义分割
论文笔记——Local-to-Global Self-Attention in Vision Transformers
-
论文笔记——[CVPR2022]A ConvNet for the 2020s
创新点： ①通过finetune让ResNet-50达到Transformer的准确率 以下文章已经描述得很清晰，就不再赘述了： https://zhuanlan.zhihu.com/p/455913104 简述涨点方法： ①训练epoch从90...
![论文笔记——[CVPR2022]A ConvNet for the 2020s](https://blog.liguanxin.cn/wp-content/uploads/2022/06/微信截图_20220630121941-150x101.png)
-
论文笔记——[CVPR 2022 Oral]MetaFormer is Actually What You Need for Vision
创新点： ①Transformer中的自注意力机制没用，结构才有用 ②即便把Attention模块换成Pooling，也能得到提升 总体结构 本文把Attention改成池化层 公式： 代码： 训练策略 数据...
![论文笔记——[CVPR 2022 Oral]MetaFormer is Actually What You Need for Vision](https://blog.liguanxin.cn/wp-content/uploads/2022/07/微信截图_20220701190629-150x111.png)
-
论文笔记——TVConv: Efficient Translation Variant Convolution for Layout-aware Visual Processing
（CVPR2022论文） 以前存在的问题：静态和动态卷积要么与布局无关，要么计算量大，不适用于特定于布局的应用程序，例如人脸识别和医学图像分割。 创新点： ①作者观察到人脸识别的...
-
StyleGAN和StyleGAN2
StyleGAN StyleGAN是由Nvidia研究人员于2018年12月推出的生成对抗网络，并于2019年2月可用。 StyleGAN依赖于Nvidia的CUDA软件，GPU和Google的TensorFlow。 StyleGAN的第二个版本（...
-
论文笔记——Conformer: Local Features Coupling Global Representations for Visual Recognition
创新点：同时利用CNN的捕获局部特征的优点和Transformer捕获长距离特征的优点。 上图中的(c)表示整个网络结构的并发构型。 (b)表示，两个分支的初始特征是相同的，沿着两个分支以...
-
论文笔记——[CVPR 2022 Oral]Restormer: Efficient Transformer for High-Resolution Image Restoration
创新点： ①解决高分辨率图像的图像恢复任务中transformer复杂度高的问题 ②在图像运动去模糊，去焦去模糊，图像去噪（高斯灰度/颜色去噪，和真实图像去噪）任务中取得sota ③self-at...
![论文笔记——[CVPR 2022 Oral]Restormer: Efficient Transformer for High-Resolution Image Restoration](https://blog.liguanxin.cn/wp-content/uploads/2022/11/网络-150x72.png)
-
论文笔记——SwinIR: Image Restoration Using Swin Transformer
创新点： ①把Transformer引入超分 ②SwinIR由浅层特征提取、深度特征提取和高质量的图像重建三部分组成。 网络结构 ①浅层特征提取：33卷积层 ②深层特征提取采用K个residual Swin T...
