图纸识别大模型的微调与推理方法

本申请提供了一种图纸识别大模型的微调与推理方法，其中，该方法包括：获取原始样本数据；根据原始样本数据以及标注信息进行增广处理，生成训练样本数据；在当前训练轮次中，得到待处理的图像序列，并得到待处理的文本序列；由特征处理模块进行调整，并进行特征处理，得到特征处理结果；由多模态识别模块进行调整，并进行多模态识别，得到识别结果；根据识别结果、真实值以及预设的损失函数，确定损失结果，并根据损失结果迭代微调初始图纸识别模型，得到目标图纸识别模型，并使用目标图纸识别模型进行推理。本申请能够使得目标图纸识别模型准确定位与理解用户所需的信息。