基于多模态预训练的动作生成方法、装置、机器人及介质

本发明涉及人工智能技术领域，可运用于医疗健康领域和金融交易领域，公开了基于多模态预训练的动作生成方法、装置、机器人及介质，应用于智能手术机器人的高频动作生成场景中，或应用于智能客户服务与财富管理场景中，其中方法包括：获取语言指令、视觉图像和机器人本体感知数据；通过预训练视觉语言模型将语言指令、视觉图像和机器人本体感知数据进行多模态特征对齐和跨模态特征融合，生成融合后联合特征向量；通过预训练的目标动作模型采用流匹配技术基于融合后联合特征生成目标连续控制指令；基于目标连续控制指令生成机器人的连续动作。本发明提高了机器人动作生成的效率和跨平台适应性。