一种基于深度优化的多模态工件结构细节检测方法及装置

本发明公开一种基于深度优化的多模态工件结构细节检测方法及装置，涉及工件检测技术领域。方法包括：获取训练数据，对初始工件结构描述网络进行训练，得到训练好的工件结构描述网络；获取目标工件的待处理图像、深度图像以及文本描述；将待处理图像输入工件边缘分割网络，得到初步轮廓数据；将深度图像输入工件深度细化网络，得到细化深度图像；将文本描述输入到语言文本转换模块，得到的特征输入文本编码器，得到文本编码特征；将初步轮廓数据、细化深度图像以及文本编码特征输入到多模态交互融合模块，将得到的融合特征输入到多模态编码解码器，得到目标工件的结构描述数据。采用本发明，提高模型在多样场景下的检测准确性和鲁棒性。