一种基于多模态大模型的无人机视觉检索与指令反馈方法

本发明公开了一种基于多模态大模型的无人机视觉检索与指令反馈方法，涉及无人机结合大模型智能感知技术领域。所述方法包括：将预处理得到的航拍图像输入CLIP(Contrastive Language‑Image Pretraining)模型的视觉编码器生成高维特征向量，同时基于任务相关的文本描述生成文本特征向量；通过CLIP多模态对齐技术对图像和文本特征进行匹配，评估其相关性；结合时间图像序列和任务上下文，采用Transformer架构对数据进行上下文分析和语义理解；通过T5(Text‑to‑Text Transfer Transformer)模型根据任务目标生成初始文本指令，并基于图像语义信息与上下文动态优化生成精准的操作指令。本发明实现了无人机对复杂环境视觉数据的高效理解和精准操作指令的自动生成，具备智能化、动态适应性和高精度的优点，适用于无人机的任务规划与执行。