一种基于DINOv2和CLIP的建筑草图的多模态自动分类方法

本发明涉及图像分类技术领域，具体涉及一种基于DINOv2和CLIP的建筑草图的多模态自动分类方法，收集建筑草图数据样本；对建筑草图数据样本进行数据增广，形成建筑草图的数据集；对建筑草图的数据集进行文本打标；对打标文本进行质量检查；利用获得的数据集，联合训练DINOv2提取的视觉特征与CLIP的文本嵌入特征，联合训练得到特征融合层；使用分类头对融合后的特征进行分类预测。实现高效自动化的底图分类，生图时无需依赖人工对底图进行分类，解决人工判断的准确性低、效率低、错误率高的问题，同时解决在样本不足条件下，自动化草图分类的准确性问题。