基于多模态大语言模型的无人机集群编队控制方法和系统

本申请提供一种基于多模态大语言模型的无人机集群编队控制方法和系统，所述方法包括：获取无人机阵列拍摄或接收的环境图像，通过第一大语言模型解析所述环境图像生成环境描述；获取用户指令和环境数据，基于第二大语言模型，解析所述用户指令和所述环境数据，结合所述环境描述生成命令语义；获取预设编队图像，调用所述第一大语言模型解析所述预设编队图像，结合所述命令语义生成编队指令，根据所述编队指令控制所述无人机阵列完成集群编队。本申请通过多模态大语言模型和经过监督训练的大语言模型，解决了基于多模态图像采集和识别的实时的无人机集群控制。