一种基于多模态大模型的硅藻检测方法及系统

本发明公开了一种基于多模态大模型的硅藻检测方法及系统，涉及法医学检验与计算机视觉交叉技术领域，包括：构建的图像‑文本对训练数据，微调基于Transformer架构的多模态大模型，保留预训练视觉编码器的通用特征提取能力，在文本编码器中注入硅藻形态学领域词典作为可学习嵌入向量，并采用对比学习损失函数优化视觉特征与文本特征的跨模态对齐；再通过知识蒸馏和量化模型后，模型将采集的已知放大倍率的硅藻显微图像，与文本嵌入向量进行空间注意力融合，通过跨模态解码器的自注意力权重筛选机制输出目标矩形框参数，并依据已知的放大倍率，对硅藻的尺寸进行检测计算。本发明为法医学硅藻检验提供了智能化、自动化的新的解决方案。