一种多模态操控检测与定位的方法及系统

本发明公开了一种多模态操控检测与定位的方法及系统，涉及深度学习和人工智能技术领域，对输入的多模态数据进行特征提取；对图像生成描述性文本，计算图像与描述性文本的对齐损失；基于交叉注意力矩阵对图像特征和文本特征进行多模态融合，得到融合后的图像特征和融合后的文本特征；引入操控引导矩阵对操控区域赋予权重，计算操控引导后的注意力矩阵损失；利用融合后的多模态特征进行检测与定位，计算判别损失、分类损失、图像定位损失和文本定位损失；引入指示引导矩阵对图像中的操控区域进行强调，计算指示引导后的图像判别损失；基于模型总损失对模型进行训练，训练后的模型用于对多模态数据的操控进行检测与定位。本发明提升操控检测与定位的精度和可靠性。