融合三维可变形模型的结构位移视觉识别方法及系统

本发明公开了一种融合三维可变形模型的结构位移视觉识别方法及系统，方法包括：通过消费级单目相机采集工程结构振动视频数据，建立三维可变形网格模型并生成位姿渲染图像以及位移值数据；去除环境噪声干扰；通过光流模型估计渲染图像中的稠密光流数据，构建包含位姿信息的光流特征数据集；输入两组数据序列整体结构图像序列和局部结构图像序列，经过卷积层的多层卷积操作后，分别生成对应的整体特征与局部特征；再经过线性变换生成其特征查询向量、键向量和值向量，并根据这些向量在两种特征之间建立动态权重，得到两种融合特征后进行全局平均池化，通过多层感知器输出位姿估计值。实现了仅通过单目消费级相机即可精确识别三维结构的位移。