一种单多模态数据的多模态模型联合训练方法

本发明涉及具身智能技术领域，具体为一种单多模态数据的多模态模型联合训练方法。为了解决因数据模态差异导致的训练瓶颈的问题，故提供了一种新的单多模态数据的多模态模型联合训练方法，包括如下步骤：1）利用AIGC技术将单模态客户端训练数据生成对应的对齐多模态数据集；2）对所有多模态数据集进行不同特征提取；3）对提取到的对应特征进行融合拼接，在本地客户端训练客户端融合模型；4）客户端基于客户端融合模型生成局部梯度更新，并上传至服务器，服务器将受到的梯度更新进行聚合，以训练形成多模态全局模型。本发明所述的训练方法实现了即使在只有单一模态数据的客户端之间，也能进行多模态模型训练。