摘要
本发明公开的基于多模态大模型的驻车智能守护方法和系统,包括:S1采集车辆内外的多模态感知数据,并对多模态感知数据进行时空对齐与坐标映射;S2对多模态感知数据进行特征提取与语义增强处理,生成视觉特征、雷达特征及音频特征;S3将视觉特征、雷达特征及音频特征输入多模态大模型输出跨模态联合特征;S4进行目标识别检测与行为意图预测,并输出威胁判定结果;S5根据威胁判定结果动态生成分级响应策略,向车辆执行机构下发实时预警防控指令。本发明能够克服现有技术中的车辆驻车方法存在感知局限的问题,通过整合多源数据,借助多模态大模型强大的分析能力,及时对异常行为及潜在安全威胁发出警报,提升车辆驻车的智能化与安全性。
技术关键词
守护方法
音频特征
视觉特征
跨模态
雷达
执行机构
多模态数据采集
注意力机制
滑动窗口机制
坐标系
智能守护系统
车辆驻车方法
车载信息娱乐系统
数据传输模块
异常声音
数据处理模块
系统为您推荐了相关专利信息
SLAM方法
动态物体
语义分割网络
轮廓图像
相机位姿估计
粗糙度
协方差矩阵
激光雷达传感器
测量误差
数字高程模型数据
机器学习模型
计算机可读指令
标记
图像
视觉特征
多用途智能轮椅
履带组件
传动臂
活动支座
智能轮椅技术