标题：基于Transformer的低照度图像去噪方法
作者：吕雨珊1 李宇航1；丁友东1，2
作者单位：1上海大学上海电影学院，上海 200072；2 上海电影特效工程技术研究中心，上海 200072
关键字：图像去噪；低照度；Transformer；可变形卷积
摘要：目前，图像去噪任务的主流方法多关注常规图像的噪声去除，而在低照度条件下拍摄的图像含有更严重的噪声，这种富有挑战性的去噪问题亟待解决。实验发现，将现有图像去噪方法直接应用于低照度图像任务中，会存在难以抑制真实图像噪声、丢失图像暗部和亮部细节信息问题。针对这些问题，提出一种基于Transformer的编解码U型网络。首先，提出对每张真实的噪声图像采用暗阴影校正方法进行预处理，改变其空间上的不均匀性，从而降低真实噪声学习的复杂性；然后，每张预处理后的图像通过提出的U型网络进行图像去噪，提出的U型网络是在UNet架构基础上引入Transformer Block模块构建分层编解码器，使网络可以从全局特征变化角度出发，多尺度分析图像亮暗细节信息；此外，采用窗口增强自注意力模块代替全局自注意力，更好地捕捉上下文特征依赖关系；最后，在解码器阶段引入可变形卷积残差模块，进一步增强局部特征的提取能力，提高网络去噪性能。在低照度真实噪声图像数据集SID和ELD上，方法的PSNR和SSIM较其他主流方法的最优值提升了0.53 dB和0.004。主观结果表明，该方法能在有效抑制低照度图像噪声的同时，更好地恢复细节信息。