基于语义编码的多模态大模型云边协同推理方法、装置、设备及介质

本发明提供了一种基于语义编码的多模态大模型云边协同推理方法、装置、设备及介质，涉及人工智能领域。包括：边侧设备接收终端设备发送的多模态数据，通过预训练的多模态语义编码模型对多模态数据进行语义编码，得到多模态语义信息并发送至云端服务器；云端服务器基于预训练的多模态大模型对多模态语义进行处理，得到控制指令并发送至边侧设备；边侧设备将控制指令发送至终端设备，以使终端设备基于控制指令执行对应的指令操作，从而实现终端设备与云端大模型之间数据的高效安全传输。