一种基于声像-红外-可见光的多模态时空频视觉融合重构方法

本发明涉及一种基于声像‑红外‑可见光的多模态时空频视觉融合重构方法，包括：选定可见光相机为参考相机，获得可见光相机、红外相机和声像仪内外参；将红外图像、可见光图像和声学图像投影到3D坐标；将红外相机和声像仪的3D坐标变换到可见光相机的坐标系中；通过反投影，将世界坐标反投影到红外相机和声像仪的像素坐标；将红外图像和声学图像的原始坐标映射到新的像素坐标；利用正投影和反投影得到的映射关系，插值生成配准后的红外图像与配准后的声学图像，并与原始可见光图像进行融合得到配准融合重构的图像。与现有技术相比，本发明通过多模态数据融合，可以更全面、准确地识别设备状态。