用于训练机器学习模型来处理多模态数据的方法和设备

本发明涉及一种用于训练机器学习模型来处理多模态数据的方法，所述机器学习模型具有：第一和第二编码器、转换器、第一姿势回归器头和第二姿势回归器头，所述方法包括：通过所述转换器，将第一和第二传感器数据的特征合并到公共特征嵌入空间中；通过所述第一姿势回归器头，对来自所述公共特征嵌入空间中的合并的特征进行解码，以输出针对所述第一传感器的姿势估计；通过所述第二姿势回归器头，对来自所述公共特征嵌入空间中的合并的特征进行解码，以输出针对所述第二传感器的姿势估计；使损失函数最小化，以用于优化针对第一和第二传感器的姿势估计；以及提供经过训练的机器学习模型来处理多模态数据。