一种基于多模态语言对齐的数据增强方法和装置

本发明公开了一种基于多模态语言对齐的数据增强方法和装置，该方法包括：采集电子病历系统中患者的基本信息、观察窗期间的诊断报告和各类图像数据，并对其进行预处理；分别对预处理后的图像和诊断报告进行图像数据编码和文本数据编码，得到编码后的图像嵌入表示和文本嵌入表示；将编码后的图像嵌入表示和文本嵌入表示进行模态投影融合，通过对比学习方法构建其损失函数，通过最小化对比学习的损失函数对齐图像嵌入表示和文本嵌入表示；通过基于语言相似性的图像‑文本对生成的解码方法，生成图像‑文本对数据。本发明能够区分图像和文本以及不同模态的图像；还可以生成指定模态的数据，解决了多模态大模型研究中缺少数据量的问题。