摘要
本发明公开了一种基于动态优先级的多模态数据传输方法和系统,所述方法包括:将采集的业务的多模态数据中的图像、语音、文本数据,分别提取图像、语音频谱、文本特征数据后,分别加入相应模态嵌入向量后进行拼接;将拼接后的特征数据输入到交叉注意力机制中,得到的各模态的特征数据的注意力分数进行相加,得到所述业务的多模态融合特征数据的注意力分数;将所述业务的多模态融合特征数据的注意力分数与为所述业务预先设定的优先级进行联合评定,得到所述业务的动态优先级;优先传输动态优先级高的业务的数据。应用本发明可以优先保障动态优先级高的数据的传输,确保了关键和重要数据能够优先传输。
技术关键词
融合特征
交叉注意力机制
数据传输方法
数据采集终端
动态
业务分配
文本
数据传输系统
语音
信道状态信息
训练神经网络模型
噪声功率
图像
计算机设备
处理器
可读存储介质
系统为您推荐了相关专利信息
融合特征
HSV颜色空间
残差结构
空间特征提取
无雾图像
场景语义分割方法
异构特征
融合特征
编码器
掩膜
控制系统参数
工况
油门控制模块
参数更新模块
多时间尺度
风机故障诊断方法
动态故障
实体间关系
风机故障诊断系统
文本