• 学术研究 • 下一篇
曹岩, 辛子昊, 邬开俊, 单宏全, 郭炳森
CAO Yan, XIN Zihao, WU Kaijun, SHAN Hongquan, GUO Bingsen
摘要: 针对图像修复过程中图像像素之间语义联系不连贯、大范围损坏图像的局部纹理细节修复效果不明显的问题,文章提出一种名为BMTA(Block Of Multi Transformer Attention)的单阶段图像修复网络模型,用于修复多场景下的大面积破损图像,使修复出的图像在人眼主观感受和客观评价指标上都能有良好的表现。生成器模块通过在卷积层中穿插双重单向注意力模块来对输入图像进行特征压缩、重建和强化重要特征信息,将压缩的特征分通道进行局部特征提取和全局特征提取,利用分割条纹窗口建立全局信息联系,使用残差密集块对局部细节信息深度提取,并将所提取的特征进行融合。在解码器部分,为防止在解码过程中造成局部信息丢失和修复过程中对上下文信息理解的不准确,使用门控的线性自注意力模块来保证网络中信息的多层次保留,从而达到更接近原图的修复效果。最后使用鉴别器来评估修复结果,促使修复图像在结构和纹理上具有更好的表现性。文章在CelebA、StreetView、以及Place2数据集上的表现均优于当前先进的图像修复算法。