摘要
本发明公开了一种无人机多模态数据融合的幕墙托块状态检测方法及系统,本发明方法包括获取无人机采集幕墙托块的红外图像和可见光图像构成的无人机图像数据库;针对无人机图像数据库中的红外图像和可见光图像进行图像配准、去噪和样本标准以构建训练数据集;构建卷积神经网络模型,并利用训练数据集训练卷积神经网络模型以用于根据无人机采集的红外图像和可见光图像获得对应的幕墙托块检测结果;且利用Shearlet‑SURF算法对无人机采集的可见光和红外图像进行图像配准,卷积神经网络模型采用改进的STDFusionNet模型以充分利用多模态数据信息,提高幕墙托块状态的检测精度和鲁棒性。
技术关键词
多模态数据融合
状态检测方法
可见光图像
Hessian矩阵
无人机
注意力
幕墙
托块
特征提取网络
像素点
构建卷积神经网络
图像配准
SURF算法
卷积神经网络模型
检测特征点
模块
表达式