基于大小模型协同的图纸工艺识读方法

本发明公开了基于大小模型协同的图纸工艺识读方法，涉及多模态大模型与机器视觉交叉技术领域，该方法先对原始图纸进行灰度转换等预处理，生成标准化小模型训练集，借助含特定结构的深度卷积网络训练小模型以高效检测目标。为大模型构建含图像特征等的三模态数据集，通过多种编码构建层次化注意力机制并开展对比学习。协同推理时，用可微分路由网络连接小模型输出与大模型中间层，借助双队列调度和CUDA流并行实现异步推理，利用FAISS库缓存复用历史特征。测试阶段，低置信度样本触发大模型分析。该方法通过协同机制，推理延迟降40%，微小符号定位更准，综合准确率提升25%。