机器人动作生成方法以及机器人的控制系统

本申请提供了一种机器人动作生成方法以及机器人的控制系统，其中，该方法包括：获取当前时刻的多模态观测数据；获取各模态的模态权重以及初始噪声轨迹；根据多模态观测数据、各模态的模态权重以及各模态对应的噪声估计模型，按照时间逆序对初始噪声轨迹进行迭代探索，生成机器人的动作轨迹序列。本申请能够在推理时组合预训练的单模态扩散策略的噪声估计，高效地融合不同模态的信息，从而在避免多模态数据收集和联合训练的复杂性的前提下，实现多模态策略的融合，同时，增强了动作生成过程的灵活性、实时适应性、鲁棒性以及可扩展性。并且，通过避免多模态联合训练，还大幅降低了训练成本和计算资源需求。