摘要
本申请公开了一种多模态数据融合方法、装置、设备及存储介质,涉及数据处理领域,包括:获取各模态传感器采集到的各模态原始数据,对各所述模态原始数据分别进行特征提取;基于与各模态原始数据对应的提取结果及预设数据质量评估规则确定评估结果,利用评估结果、当前的历史任务结果、各提取结果、预设权重约束条件及预设权重调整规则,确定目标权重;基于预设对比学习损失函数、各提取结果及对应的目标权重进行融合,以确定特征融合结果,以便将特征融合结果用于执行适配的目标下游任务。本申请能有效实现闭环的动态权重更新机制,提升多模态数据在动态环境、跨任务场景、资源受限设备中的融合的效率、可靠性与决策准确性。
技术关键词
数据融合方法
特征提取模型
多头注意力机制
模态传感器
融合策略
原始图像数据
强化学习算法
数据完整性检查
资源受限设备
多模态数据融合
矩阵分解算法
语音活动检测
语义特征
特征提取模块
点云特征
信噪比
声学特征