一种多模态多尺度小目标分割网络训练推理方法及系统

本发明涉及一种多模态多尺度小目标分割网络训练推理方法及系统，该方法包括：将含有小目标的红外图像及可见光图像送入分割网络进行推理，并得到预测掩码图；同时对红外图像和可见光图像的预测掩码图做膨胀处理得到膨胀后的掩码图；取膨胀后红外和可见光掩码图的并集作为新的掩码图；在新的掩码图上通过八邻域聚类算法获取多个目标的像素大小，并舍弃像素面积最大的目标作为最终的目标掩码图；步骤5.在最终的目标掩码图上进一步通过八邻域聚类算法获取所有目标数量、不同目标的锚框信息、长宽比、中心坐标和像素大小，并映射回原始红外图像。本发明旨在通过“红外图像”和“可见光图像”联合检测方法有效分辨出38万千米外的月亮和几十千米外的飞机或几百米外的小无人机，并对检测结果进行有效评估。