论文笔记——[ICCV 2021]Learning for Scale-Arbitrary Super-Resolution from Scale-Specific Networks

创新点：
①从固定尺度中学习任意尺度的超分，且能处理不匀称尺度(高宽不成比例)。
②通过对现有超分网络加入插件模块实现任意尺度的超分，该模块由多尺度感知的特征自适应块和一个尺度感知的上采样层组成。
③尺度感知知识转移范式，将知识从特定网络转移到尺度任意网络。

Meta-SR的缺点：
①尺度信息只用于上采样，因此网络的主干特征是相同的。
②Meta-SR是从头训练的（这很耗时），且消耗大量内存。
③主要关注非整数缩放尺度，不能处理不匀称尺度。

动机

在第一个实验中蓝点、红点和绿点代表x2网络、x3网络和x4网络，可以看出不同颜色的点在方块1、5和8的大多数位置上都有重叠（采用t-SNE方法可视化）。也就是说网络的1、5和8块中这些位置特征与尺度无关。而在最后一块分布差别比较大，意味着最后一个块的特征容易依赖于尺度。

在第二个实验中，作者用单个图像，对x2、x3和x4的特征进行了差异对比，差异越低特征越相似，也意味着对尺度依赖性越低。在第1、5和8块中边缘和纹理丰富的区域（如建筑），差异很小。然而，在没有纹理的区域（例如，天空和湖泊），差异很大。这意味着纹理丰富区域的特征倾向于尺度无关，而无纹理区域的特征倾向于尺度相关。在这个实验中，这个观察结果适用于除最后一个区块之外的所有区块。对于最后一个区块，纹理丰富区域的差异显著增加。

基于这一观察结果，本文将尺度相关的特征与尺度无关的特征区分开来，然后自适应地进行尺度感知的特征自适应。具体来说，任意尺度因子可直接用于任意尺度无关的SR，而尺度相关特征应根据尺度因子进行调整。

插件模块

每K个块加入一个尺度感知特征自适应块，最后一个块采用尺度感知的上采样。

尺度感知卷积：如上图c，输入水平尺度因子rh和垂直尺度因子rv到两个全连接层，得到一个特征向量。然后，将该特征向量分别输入一个卷积核和一个bias来对输入特征图进行DW卷积。最后过一个1×1卷积，从而得到输出特征。

尺度特征自适应：对于特征F，分为3支：

• 上面是直接残差连接
• 中间是4个卷积构成的沙漏层，生成一个值从0到1的尺度依赖掩模M
• 下面经过一个尺度感知卷积进行特征适应，然后与上一步的M相乘，加上第一步的残差

在低尺度依赖值的区域，特征倾向于与尺度无关，F可以直接用作F融合器。相比之下，在尺度依赖值较高的区域，特征容易发生尺度依赖。

尺度感知上采样：首先在HR空间的坐标(x,y)被投影到LR空间的对应位置C(x)和C(y)，以及相对距离R(x)和R(y):

R(x),R(y),rh,rv喂入两个全连接层，把结果作为DW卷积的卷积核参数，bias和上采样的坐标偏移量offset。对于任意低分辨率图像中的(C(x)+\delta_x, C(y)+\delta_y)采用k×k邻域采样，\delta_x和\delta_y是预测的偏移量。本模型中k被设置为1，最后利用上面参数的DW卷积和1×1卷积得到输出。

尺度感知知识迁移：对于训练好的超分网络，加入本文的插件模块，然后再次训练。

每K个块插入一个尺度感知块，每个块得到F_1^{fuse}后都采用L1损失来修正与原网络的差距：

实施细节

损失函数：

λ根据经验被设为1。

训练过程：L_{transfer}仅用于整数缩放尺度因子。