一种基于多模态模型的创新医疗图像处理方法

本发明涉及医疗图像处理和计算机医疗辅助诊断技术领域，具体涉及一种基于多模态模型的创新医疗图像处理方法，旨在解决传统医疗图像处理中存在的多模态信息处理不足和信息损失问题。该方法通过数据整理和模型微调两个主要步骤，利用ChatGLM‑6B语言模型和Qwen‑VL多模态对话语言模型，对2D肺部X光影像和2D肺部CT影像进行处理和微调训练。实验结果表明，该方法能够全面且准确地处理不同结构的医学图像，并将图像数据转化为信息丰富的文本数据，有助于生成详细的辅助诊断信息。该方法特别适用于肺部医学影像处理，能够提高医疗影像的语义理解和信息处理能力，有效应对医疗影像数据的多模态性和多源性问题。