一种基于大小模型协同的病虫害知识生成式问答方法

本发明涉及一种基于大小模型协同的病虫害知识生成式问答方法，与现有技术相比解决了尚无针对病虫害的知识问答系统的缺陷。本发明包括以下步骤：病虫害知识文档的获取和预处理；病虫害文本QA数据的创建；构建对话数据集；构建农业病虫害多模态大模型；病虫害知识的推理问答。本发明使用大小模型协同的方法，收集田间病虫害的图像加以标注，通过目标检测小模型辅助标注具有图文推理性质的伪标签，构建多模态图文多轮对话，通过多模态大模型三阶段的训练方法，训练模型端到端的图文理解能力，从而实现图像识别病虫害到病虫害防治用药等端到端的闭环操作。