基于可见光和热成像的空间图像生成方法及系统

本发明公开了基于可见光和热成像的空间图像生成方法及系统，涉及图像生成技术领域，包括，获取热成像图像数据、可见光灰度数据、深度图数据以及事件相机数据作为采集数据，进行统一坐标系和空间对齐；对采集数据进行Patch分割，并添加位置编码。本发明所述方法通过采用ViT计算全局注意力分布，可以使得每个Patch关注所有其他Patch，确保跨模态数据的特征不仅仅受局部邻域影响，而是结合整个图像的信息，通过计算综合特征矩阵，使用线性变换可以确保最终的融合特征既包含ViT计算的全局信息，通过计算得到的空间注意力权重直接作用于通道增强特征矩阵，进一步优化空间特征的表达。