一种基于多模态数据融合的机器人控制方法及装置

本申请公开了一种基于多模态数据融合的机器人控制方法及装置，方法包括：响应于用户输入的控制指令，接收并预处理预先设置在机器人上的多类传感器反馈的感知信息，得到多模态数据；动态调整各模态数据的权重，提取各模态数据的特征向量；根据动态调整的各模态数据的权重，对提取的各模态数据的特征向量进行融合，生成用于表征当前环境全面状态的综合特征向量；根据综合特征向量，通过预设大语言模型对控制指令进行分析，得到机器人的最终决策结果；根据最终决策结果，调用并执行机器人所需执行的指令集，以驱动机器人完成相关动作。因此，采用本申请实施例，机器人能够最大化有效处理和利用来自不同模态的信息，实现机器人更好的决策和性能。