快播：基于多尺度融合和自适应边缘监督的图像篡改定位

本文介绍上海电力大学研究团队联合上海理工大学和复旦大学研究团队近期在图像篡改检测方面的一个科研成果。

图像篡改定位是一种可以有效地将篡改区域从篡改图像中分离出来的技术。现有的图像篡改检测工作通常选择融合来自不同数据流的特征，例如噪声不一致、重压缩不一致和局部统计不一致。然而此类方法忽略了一个事实，那就是并非所有被篡改的图像都包含这些数据流，导致大量的特征冗余影响了检测结果的准确性。基于此，我们在构造RGB流特征的基础上，将图像篡改定位重定义成一种特殊的图像显著性检测任务，并以此提出了一种多尺度融合和自适应边缘监督的图像篡改定位方法。主要贡献如下：

与现有技术相比，将图像篡改定位问题重定义为一个特殊的显著目标检测任务，并进一步优化检测框架以适用于多尺度的篡改区域。

【资料图】

在编码阶段，构建了语义细化的双向特征集成模块（SRBFI），以充分融合来自不同神经网络层的相邻尺度特征，增强特征的表达能力。进一步，引入形态学操作自适应提取多尺度边缘信息，有效避免重建图像时的特征冗余。

在解码阶段，通过向每个解码模块注入深度语义特征来重构解码器，有效解决了解码阶段全局特征丢失的问题。

图1算法框架图

方法的具体框架如图1所示。首先将ResNet作为骨干网络以获得多尺度的RGB特征。随后，设计了语义细化双向特征集成（SRBFI）模块，通过融合来自相邻编码模块的特征来生成新的多尺度特征。进一步引入形态学的腐蚀膨胀操作来构建多尺度自适应边缘（MAE）监督模块，可以显著增强边缘特征的表达能力。最后，DSRD模块通过将深度语义特征注入每个解码模块提高预测精度。

本文支持多种类型的篡改图像，包括Removal、Splicing和Copy-move等。图2对比了几种模型针对不同图像库中样本图像篡改区域定位的可视化结果。表1为不同模型在三个标准数据集上F1-Score性能对比。大量实验表明，本文所提出的检测框架可以更精确定位伪造图像的篡改区域，并验证了在有损处理后依然能够提供更好的鲁棒检测性能。

图2不同方法在三个数据库上的篡改区域定位检测性能的可视化结果，其中（a）原始篡改图像，（b）ground-truth，（c）MantraNet方法，（d）MVSSNET方法，（e）提出的模型。

表1 与现有方法在三个标准数据集上的F1-Score对比

论文信息

该论文已被IEEE Transactions on Multimedia录用，作者为上海电力大学栗风永、裴振家，复旦大学张新鹏和上海理工大学秦川。

F. Li, Z. Pei, X. Zhang and C. Qin, "Image Manipulation Localization Using Multi-Scale Feature Fusion and Adaptive Edge Supervision," IEEE Transactions on Multimedia, Early Access, 2022, doi: 10.1109/TMM.2022.3231110.

参考文献

[1] Y. Wu, W. AbdAlmageed, and P. Natarajan, “Mantra-Net: Manipulation tracing network for detection and localization of image forgeries with anomalous features,” in Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2019, pp. 9543–9552.

[2] X. Chen, C. Dong, J. Ji, j. Cao, and X. Li, “Image manipulation detection by multi-view multi-scale supervision,” in The IEEE International Conference on Computer Vision (ICCV), 2021.

[3] X. Hu, Z. Zhang, Z. Jiang, S. Chaudhuri, Z. Yang, and R. Nevatia, “SPAN: Spatial pyramid attention network for image manipulation localization,” in Proceedings of the European Conference on Computer Vision (ECCV). Springer, 2020, pp. 312–328.

供稿：栗风永，上海电力大学

标签： 上海电力大学 来自不同 特征集成