一种基于多模态融合的海上目标探测方法及装置

本发明涉及一种基于多模态融合的海上目标探测方法及装置，包括以下：获取海上同一场景的可见光图片和红外成像图片，并将所述可见光图片和红外成像图片同步输入基于GhostNet构建的双流主干网络；于双流主干网络的第三至第五层，分别提取可见光图片以及红外成像图片的特征，并将这些特征输入至跨模态注意力特征融合模块进行跨模态特征融合得到融合特征，之后将融合特征输入AIFI模块与CCFF模块共同组成的混合编码器中处理后得到跨尺度的特征交互与融合结果；跨尺度的特征交互与融合结果经过不确定性最小查询选择后输入解码器，完成海上目标探测。本发明通过融合可见光、红外的模态数据，可在复杂海况下提升小目标的探测成功率。