摘要
本发明公开了一种半监督学习的价值链多模态表征构建方法及系统,包括:获取多模态数据;依据时间戳与实体映射规则将所述多模态数据划分为大规模非对齐数据子集和小规模已对齐数据子集;对所述大规模非对齐数据子集和所述小规模已对齐数据子集进行预处理;将预处理后的所述大规模非对齐数据子集和所述小规模已对齐数据子集输入至并行的模态专属编码器中进行提取得到初步模态表征;将所述初步模态表征输入动态专家混合D‑MoE融合模块,所述动态专家混合D‑MoE融合模块包含一个门控网络G和多个专家子网络Ek本发明缓解了因多模态数据对齐稀疏,而导致在构建统一数据表征时信息损失以及模型训练困难的问题。
技术关键词
半监督学习
多模态
小规模
数据
跨模态
网络
动态
构建系统
代表
样本
文本编码器
序列
补丁
图谱
重构
模型训练模块
并行编码