一种基于多模态的具身智能设备控制方法、系统及终端

本发明公开了一种基于多模态的具身智能设备控制方法、系统及终端，所述方法包括：获取经过烧录的智能卡驱动，控制智能卡驱动，部署多模态模型，并对多模态模型进行训练，得到目标多模态模型；获取用户输入的语音信息，并将语音信息输入目标多模态模型，输出提示词；将提示词传输到具身智能设备中，控制具身智能设备运行，并获取运行结果。本发明在训练多模态模型时，对数据进行预处理后，将不同模态数据转换成相同尺度或分布，通过图结构对齐数据，提高了模型训练的效率和模型训练后的性能。