摘要
本发明涉及一种基于视觉语言模型的疫苗质量检测方法,包括:步骤S1、获取待检疫苗的图像,进行疫苗主体检测后得到待检疫苗的主体图像;步骤S2、将所述待检疫苗的主体图像和设计的辅助检测的提示词一同输入到视觉语言模型;步骤S3、所述视觉语言模型对所述主体图像进行视觉编码获得疫苗外观图像特征;通过提示词引导语义推理使模型将图像特征与语义信息相融合,再进行大语言模型推理,检测出待检疫苗的质量。本发明充分发挥视觉语言模型的预训练优势实现高精度的疫苗质量评估,尤其在长尾场景下,能够有效识别未见过的疫苗异常,从而提高检测的准确性和可靠性,确保疫苗的安全使用。
技术关键词
卷积模块
大语言模型
堆叠模块
语义
视觉特征
疫苗瓶
特征提取模型
ResNet网络
图像特征编码
样本
注意力机制
跨模态
列表
残差模块
输入端
背景噪声