基于多模态多尺度的弱监督图像篡改检测定位方法和系统

本发明涉及一种基于多模态多尺度的弱监督图像篡改检测定位方法和系统，该方法包括三个组成部分，包括多模态特征提取器，特征编码与双分支特征对齐融合，区域提取网络和多任务解码器。首先对输入图像使用噪声滤波器和边缘增强模块提取多模态特征，然后使用双分支架构对RGB域特征和辅助模态特征编码，然后对两个模态的表征进行对齐融合，将获取到的特征图使用区域建议网络获取候选框，最后在多任务解码器中对篡改区域进行定位和检测。本方法利用框标注的弱监督学习，结合多模态特征提取和对齐融合，以及HRNet和FPN网络编码，提高了检测的准确性和鲁棒性，另外，基于弱监督学习的方法还具有降低数据标注成本、提高实际应用灵活性等优势。