基于潜在扩散模型的机器人多模态数据生成方法及系统

本发明公开了一种基于潜在扩散模型的机器人多模态数据生成方法及系统,方法包含：获取机器人感知所需的多模态数据，并对其进行预处理和数据增强操作，生成多模态数据集；构建基于潜在扩散模型的多模态数据生成模型，该模型包括变分自编码器、U‑Net网络和条件嵌入编码器；确定训练配置，动态调整各模态的融合权重，利用多模态数据集训练该模型；由条件信息进行引导，通过该模型进行可控多模态数据生成。本发明有效解决了机器人感知领域中数据获取困难及成本高昂的问题。通过引入潜在扩散模型，可生成高质量的大规模多模态数据，为多种下游任务提供支持，从而显著提升机器人感知能力。