一种面向高速铁路智能运营的多模态图像样本生成方法

本发明提供了一种面向高速铁路智能运营的多模态图像样本生成方法，涉及铁路基于机器视觉的监测技术领域，包括生成器和判别器，所述生成器为条件扩散网络，所述判别器为深度卷积网络，所述生成器包括条件编码模块和扩散生成模块，所述条件编码模块用于接受任务类别标签和场景描述文本作为输入；本发明引入条件扩散网络作为生成器，将铁路运营场景和条件信息融入模型，在潜空间中对铁路运营场景分布进行高效采样，从而克服基于生成对抗网络的图像生成方法在样本多样性不足及对小样本类别生成能力不足的局限性，通过生成对抗网络的判别器对条件扩散网络的生成过程进行监督，结合对抗损失优化，提升生成图像的细节质量，弥补细节上的不足。