基于多模态的农业问答方法、系统、设备及介质

本发明公开了基于多模态的农业问答方法、系统、设备及介质，属于人工智能技术领域，本发明要解决的技术问题为传统农业领域问答系统问答内容及模式单一，采用的技术方案为：知识采集；知识预处理：根据知识模态的不同特性分别对视频知识、音频知识、图片知识以及文本知识进行预处理，并将预处理后的知识进行入库处理；其中，视频知识通过ffmpeg视频分析技术抽取关键帧，并通过图像识别提取关键帧图片信息含义，即文本描述；音频知识通过语音识别技术将音频转换为文字，将文字清洗整理成知识；图片知识通过图像识别技术提取关键信息；文本进行分词及词性标注的自然语言处理；知识向量化；知识召回。