基于多模态自适应融合的海关违禁品检测方法及系统

本发明公开一种基于多模态自适应融合的海关违禁品检测方法及系统，包括：获取海关通关图像‑文本对，并提取海关通关图像的包括多尺度特征的原始特征，分别对浅层特征和深层特征加权融合后生成浅层融合特征和深层融合特征，对深层融合特征经多尺度池化操作后得到池化特征，将浅层融合特征、深度融合特征和池化特征拼接生成增强特征，将增强特征和原始特征整合后得到视觉特征；将视觉特征与文本特征进行模态对齐，对检测模型进行两阶段训练，由此得到违禁品检测结果。设计自适应动态通道融合模块，从多层隐藏状态中整合浅层细节和深层语义，通过自适应权重优化特征表达，实现低层细节与深层语义的有效融合，提高复杂场景下的特征分辨能力。