摘要
本发明涉及一种多模态视觉大模型下异构传感器抗干扰动态目标识别系统。该系统包括:抗背景干扰模块,通过对异构传感器多模态数据分模态卷积、LSTM时序建模及加权融合生成时空特征,结合时间/空间注意力机制与Transformer强化特征,利用高斯概率密度模型筛选前景像素并提取前景特征;多模态处理模块,分离各模态前景特征进行精炼后拼接,通过Transformer提取一致性特征与互补性特征,经融合与池化增强生成强化融合特征;目标识别模块,融合前景特征与强化融合特征,经卷积压缩和Timesformer长时序建模后输入目标检测头,输出目标分类与边界框。本发明解决了异构传感器数据干扰抑制与动态目标精准识别问题,提升复杂场景下的鲁棒性。
技术关键词
异构传感器
互补性特征
融合特征
多模态
数据
多头注意力机制
识别系统
像素点
视觉
动态
检测头
视频
识别模块
高斯概率密度函数
特征值
序列
时序
系统为您推荐了相关专利信息
节点
面向风电场
风电场集群
通信链路状态
数字证书
决策树模型
教师
学生
蒸馏
网络安全态势感知技术
辨识检测方法
状态空间模型
电力设备
图像块
电力运维系统
视频监控行人
特征提取器
重识别方法
原型
可见光图像