基于视觉像素级别的病虫害防治的多模态方法和系统

本申请公开了基于视觉像素级别的病虫害防治的多模态方法和系统，本方法通过将病虫害图像分割成多个初始图像；将第一初始图像输入至编码层，得到第一编码图像；第一初始图像是从多个初始图像中随机选择的一部分初始图像中的任意一个初始图像；遮挡第二初始图像，并转换成统一的嵌入表示，得到第二编码图像；第二初始图像是多个初始图像中除第一初始图像之外的任意一个初始图像；根据初始图像的位置嵌入将第一编码图像与第二编码图像进行拼接，以从拼接得到的图像中提取出病虫害图像的图像特征；将图像文本输入文本编码层，得到图像文本的文本特征；通过图像特征和文本特征得到病虫害图像的识别结果，能够提高识别准确率和泛化性。