用于云边端系统的大型视觉-语言模型协同推理方法

本发明公开了一种用于云边端系统的大型视觉‑语言模型协同推理方法，其特征在于，包括：在云端部署高性能云端LVLM模型以及云端档案库；在边缘端部署边缘LVLM模型以及边缘档案库，边缘LVLM模型引入了检索增强生成算法，边缘档案库与云端档案库能够进行动态知识交互；任务调度器基于任务分配算法对接收的查询任务进行复杂度评估，根据复杂度评估结果将查询任务分配给边缘端进行本地处理或分配给云端处理。本发明能够提升云边端系统内的推理效率，同时保持高精度，有效解决因边缘设备计算资源有限、通信窗口间歇性以及带宽限制等问题导致的推理效率低下的技术问题。