摘要
本说明书实施例提供用于司机行为预测的多模态数据融合方法及装置,其中用于司机行为预测的多模态数据融合方法包括:获取初始数据;其中,初始数据包括图像数据、音频数据和车辆状态数据;基于初始数据的类别确定数据预处理规则,并基于数据预处理规则对初始数据进行处理,确定多模态特征;基于多模态特征的类别进行数据融合,确定融合特征。通过获取初始数据;基于初始数据的类别确定数据预处理规则,并基于数据预处理规则对初始数据进行处理,确定多模态特征;基于多模态特征的类别进行数据融合,确定融合特征,可以实现将不同数据源的信息整合在一起,以更全面和准确地捕捉驾驶员行为的特征。
技术关键词
多模态特征
车辆状态数据
数据融合方法
融合特征
计算机可执行指令
梅尔频率倒谱系数
深度学习模型
音频
司机
图像
卷积神经网络提取
数据融合装置
语义特征
车内摄像头
文本
注意力
车辆传感器
视频帧
系统为您推荐了相关专利信息
视频生成模型
图像生成模型
样本
视频生成方法
场景
协同导航方法
机器人视觉
语义地图
大语言模型
多模态特征
文档特征
大语言模型
文档查重方法
语义
文档查重技术