一种基于热掩膜约束的跨模态文本到红外图像生成方法

本发明属于红外图像技术领域，涉及一种基于热掩膜约束的跨模态文本到红外图像生成方法，该方法包括：基于大模型构建文本‑红外图像对数据集；采用均值法确定红外图像的灰度阈值，并利用灰度阈值生成红外图像热掩膜信息作为热掩膜信息约束；训练自编码器以对红外图像进行重建；使用文本‑红外图像对数据集和时间编码作为输入，利用潜在扩散模型、自编码器和热掩膜信息约束训练得到红外图像生成模型；使用高斯噪声、文本‑红外图像对数据集中的文本和时间编码作为输入，利用红外图像生成模型生成红外图像。其有益效果是，有效提升生成红外图像的热特性表达能力，实现在无可见光输入条件下从文本生成高质量红外图像的目标。