摘要
本申请公开了一种多模态跨域分析方法、设备及介质,方法包括:通过深度学习编码器,对多模态数据的标准化数据集中不同模态数据进行特征提取,并通过特征对齐技术对不同模态特征进行跨模态特征映射,生成跨模态对齐特征向量,然后根据跨模态对齐特征向量,对循环神经网络模型架构通过自适应学习率算法、正则化和Dropout策略进行训练,得到循环神经网络模型;最后根据循环神经网络模型,对待分析的跨模态对齐特征向量进行特征融合,得到跨模态融合特征向量,以对所述跨模态融合特征向量进行跨域分析。通过循环神经网络模型循环连接的神经元,能够在处理时序数据时保持内部状态,从而能够捕捉序列中的长距离依赖关系,提升分析结果全面性。
技术关键词
循环神经网络模型
跨模态
多模态
分析方法
计算机可执行指令
对齐技术
掩码矩阵
模态特征
数据
策略
分析设备
编码器
算法
处理器通信
同义词
阶段
存储器
参数
复杂度