基于多模态大模型的土木工程结构表观损伤诊断方法

本发明提出基于多模态大模型的土木工程结构表观损伤诊断方法。该方法包括结构表观损伤多模态数据统一表征与对齐融合，基于多模态思维链的结构损伤识别推理方法，多模态数据集构建与大模型微调，对土木工程结构损伤识别和特征描述。本发明使用多模态大模型完成对结构损伤图像的向量编码并与文本编码特征对齐，通过调用计算机视觉模型生成损伤语义分割图作为视觉思维链，并通过构造微调数据集形成语言思维链，由预训练大语言模型完成对多模态信息编码的推理和结构损伤诊断的生成。该方法使用多模态大模型为底座并融合多模态思维链推理方法，使得模型能够通过自然语言进行人机交互，高效诊断各类结构损伤，提高结构损伤诊断模型的泛化能力和准确性。