一种融合医学影像与医学文本的多模态医疗AI辅助问诊方法

本发明公开了一种融合医学影像与医学文本的多模态医疗AI辅助问诊方法。首先，采用了负样本生成增强算法和Vit算法模型处理医疗视觉语言问答数据集，解决了多模态数据处理的困难。这项创新技术使我们能够更有效地处理涵盖文字和影像数据的医疗信息，特别是通过处理胸部荧光透视图，获得更富信息的图像特征向量。其次，引入了Combine‑Former多模态融合器，通过自注意力层和交叉通道注意力层实现了文字编码向量和图像特征向量的高效交互与融合。这一多层次的融合策略增强了模型对多模态数据的理解，使其能够更准确地回应患者问题。最终，通过医疗专业领域适配器对大语言模型解码器微调，进一步提高了模型的性能，使其在医疗AI辅助问诊中有更高的准确性和专业性。