多模态融合特征驱动的动作控制方法、装置、设备及介质

本发明涉及人工智能技术领域，可应用于具身智能、金融科技及医疗健康等业务场景中，公开了一种多模态融合特征驱动的动作控制方法、装置、设备及介质，包括：获取第一模态输入信息和第二模态输入信息，生成对应的第一模态特征向量和第二模态特征向量，融合两种模态特征向量生成多模态融合特征，基于多模态融合特征生成动作指令，结合设备当前状态、当前环境信息和任务目标生成初始动作规划，基于初始动作规划生成全局最优动作序列，控制设备执行全局最优动作序列。本发明通过多模态融合信息生成的动作指令，结合设备状态、环境信息和任务目标，生成全局最优动作序列并控制设备执行，提升复杂环境下的决策效果与动态适应能力。