一种基于统一模型架构的多模态数据合成方法、装置、设备、介质及产品

本发明公开了一种基于统一模型架构的多模态数据合成方法、装置、设备、介质及产品，涉及信息提取技术领域，该方法先获取包括图像数据、文本数据、音频数据、传感器数据的待合成数据，经预处理得到对应各模态的序列数据；再基于序列数据提取全局语义因子、局部语义因子、细节三级语义因子，全局语义因子通过任务指令筛选候选模板并结合序列数据评分得到，局部语义因子由序列数据聚类后特征池化生成，细节语义因子依据序列数据的重建误差及其变化得到；将各模态序列数据与对应标识合成，并和三级语义因子拼接为合成序列数据；最后把合成序列数据输入同一transformer编码器完成多模态数据合成，实现多模态数据的高效协同与深度整合。