摘要
本发明提供了一种基于图像和高分辨率多普勒像结合的目标识别方法及系统,该方法结合了1D时间序列数据(例如Doppler雷达信号)和2D图像数据(例如灰度或RGB图像),旨在提高分类任务的精度。针对这两种数据模态在结构上的差异,本发明提出了一种创新的解决方案:利用预训练的时间序列基础模型和视觉基础模型Dinov2分别提取特征,通过跨注意力机制增强特征表示,并结合对比学习和分类头进行训练。本发明创造性地将可见光图像中精确估计出的目标姿态信息,作为强先验来直接引导和约束HRDP的识别过程,特别是用于缩小识别搜索空间,从根本上克服HRDP的姿态敏感性。多模态特征融合通过拼接的方法保留两种模态的完整信息,同时为后续的对比学习和分类任务提供统一的特征表示。
技术关键词
融合特征
多普勒
可见光图像
识别方法
识别系统
时间序列特征
多模态特征融合
语义特征
计算机
回波
基础
可读存储介质
特征提取模块
数据获取模块
对齐模块
注意力
雷达