自助下单地址（拼多多砍价，ks/qq/dy赞等业务）：点我进入

作者丨快乐

来源丨AIWalker

【AI侃侃】知道IKC写了一年多了，但是没有深入看论文，也没仔细看代码。 下意识的觉得IKC太复杂了，就一直拖啊拖啊，直到把DAN的两个版本都看完了。 看到IKC附在DAN上的代码后，我觉得IKC可能是一种类似于DAN的方法。 趁着周末，花了将近一天的时间看了看IKC的原理和代码。

arXiv：

代码：

抽象的

深度学习因其卓越的有效性和高效率无线语音核相仪，已经成为图像超分辨率领域的主流解决方案。 现有的图像超分辨率方案往往假设下采样过程中的模糊核是固定/已知的（如双三次）。 然而，实际应用场景中的退化模糊核往往是复杂且未知的，导致现有方案在实际应用中性能严重下降。

本文提出了一种用于盲超分辨率模糊核估计的迭代核估计方法。 这篇论文的思路来源于：Kernel mismatch will lead to regular artifacts (excessive degradation or excessive blur)，这种规律性可以用来修正不精确的模糊核。 因此，我们提出了一种迭代校正机制IKC，它可以取得比直接核估计更好的结果。 同时，我们还提出了一种基于SFT（Spatial Feature Transformer）的超分辨率网络SFTMD来处理多个模糊核。

合成数据和真实场景的实验表明，所提出的 SFTMD+IKC 可以产生视觉友好的效果，同时在盲超分辨率领域实现 SOTA 性能。

本文的主要贡献包括以下几点：

方法问题表述

盲图像超分辨率问题可以描述如下：

现有研究通常使用各向同性高斯模糊核。 此外，各向异性模糊核（可以看作是运动模糊+各向同性模糊核的组合）也开始受到关注。 为简单起见，本文主要关注各向同性模糊核。 继续SRMD，我们使用高斯模糊+双三次降采样退化的方法。 在真实场景中，LR 图像通常具有加性噪声退化。 噪声假设也适用于 SRMD 中的高斯分布。

动机

接下来，我们将考虑正确的模糊核在超分辨率过程中的重要性。假设

它是一个带有内核信息输入的预训练超分辨率模型。 当输入正确模糊内核时，生成的超分辨率图像不会有伪影。 盲目超分辨率问题相当于找到一个合适的模糊核，让超分辨率模型产生视觉友好的结果。 一个直接的解决方案是使用预测器（Predictor）直接从LR估计模糊核，可以通过最小化损失得到：

然而，模糊内核的准确估计是不可能的。 此外，超分辨率模型对估计误差非常敏感，不精确的模糊核会导致生成的结果包含伪影。

上图是超分辨率模型对核失配的灵敏度可视化，从中我们可以看出：

为了解决内核不匹配问题，我们建议迭代校正模糊内核以获得无伪影的超分辨率结果。 为了校正估计的模糊核，我们构建了一个校正器来测量估计核和真实核之间的差异。 核心思想是利用中间的超分辨率结果进行模糊核校正。 可以通过最小化估计内核和真实内核之间的损失来优化校正器：

Corrector根据超分辨率结果的特点调整模糊核，调整后的模糊核将优化超分辨率模型以获得伪影较少的结果。

上图是迭代次数和性能的对比，可以看到：

建议方法

Overall Framework提出的IKC方案包括超分辨率模型、预测器和校正器。 下图是IKC实现的伪代码。

SR模型的网络架构

作为多模糊核退化最成功的超分辨率方案，SRMD将输入图像和退化信息拼接在一起作为模型输入，然后通过级联卷积和PixelShuffle进行图像超分辨率。 然而，在 SRMD 中拼接并不是唯一的选择，也不是最佳选择，原因有二：

为了解决上述问题，我们提出了一种基于SFT的超分辨率模型SFTMD。 SFT通过对特征进行仿射变换来改善模糊核的影响。 仿射变换不直接包含在图像处理图像中，因此可以提供更好的性能。

上图为提出的SFTMD架构示意图，通过引入SFT对SRResNet进行了扩展。 SFT基于模糊核特征H对特征F进行仿射变换：

注：仿射变换系数由另一个轻量级 CNN 计算。

预测器和校正器的网络架构预测器和校正器的网络架构如下图所示。 预测器由4个卷积层（后面是Leaky ReLU）+ GAP组成； 校正器将超分辨率图像和现有估计作为输入。

实验

我们根据上述退化模型合成训练数据集，各向同性高斯模块的核宽度分别对应x2、x3和，核大小固定为； 当应用于真实图像时，我们添加加性高斯噪声。 训练数据为DIV2K+Flickr2K。

为了对所提出的方案进行定量评估，我们还提供了一个测试集Gaussian8：它包含8个各向同性模糊核，核宽度范围为

SFTMD 和 IKC 都在合成训练数据集上进行训练。 首先，MSE用于训练SFTMD； 然后，固定 SFTMD 的参数，交替训练预测器和校正器。

SFTMD的实验

上表比较了提出的 SFTMD 与其他盲超分辨率方案的性能，从中我们可以看出：

合成测试图像的实验

上表给出了不同方案在Gaussian8数据集上的性能对比，从中我们可以看出：

上图对比了模糊核迭代校正过程中的超分辨率结果，可以看出：

上表验证了提出方案的泛化性能，从中我们可以看出：

真实图像集的实验

上图比较了不同方案对真实图像的超分辨率效果。 可以看出，虽然退化的模糊内核未知，但 IKC 仍然可以生成没有伪影和锐利边缘的超分辨率结果。

上图提供了通过网格搜索优化模糊核+SRMD和IKC在Chip图像上的超分辨率结果对比，从中我们可以看出：

个人想法

因为我这一年确实看了很多盲超分的论文，所以第一次看IKC之后无线语音核相仪，也只是觉得也就那么回事了。 做笔记的时候，想到IKC这样一个程序的时间线，才真正体会到IKC的巧妙之处。

上图简要总结了SRMD以来用于多模糊核退化的图像超分辨率方案。 SRMD、DPSR、USRNet、DPIR和MANet是Kai Zhang和他的团队成员的工作，IKC是Jinjin Gu和Chao Dong团队的成果。 ，DANv1&DANv2是中科院谭铁牛团队的成果。

SRMD首次成功将核先验和噪声先验信息嵌入到超分辨率模型中； 后续工作探索了模糊核的迭代估计，后续工作延续了两条不同的路线：

IKC作为Route 2的探索者，以核不匹配导致的伪影为切入点，深入分析了估计核与真实核之间的过渡现象，提出了模糊核迭代优化机制IKC。 针对SRMD中kernel prior和LR图像的拼接处理可能存在的缺点（kernel信息只影响一次，对深度难度有影响），引入SFT来加深kernel prior的影响。

当然，作为一份“吃螃蟹”的工作，肯定会留下一些“坑”，让后来者填补。 这些坑是什么？ 有兴趣的可以先看看DANv2，或者等待作者的解读。