一种基于多模态融合的大语言模型冠状动脉CTA影像分析方法

一种基于多模态融合的大语言模型冠状动脉CTA影像分析方法，涉及大语言模型技术领域，通过构建视觉编码器和桥接模块将图像特征信息提取，再通过一个简单的线性投影层将视觉图像特征向量映射成与大语言模型嵌入空间维度相同的视觉特征向量，这不仅能够将视觉特征信息和文本特征信息对齐，还能提高冠脉CTA图像信息报告生成的准确性和效率，降低假阳率。增强模型对医学图像的理解和分析能力，提升模型在面对复杂医学问题时的响应能力，并有效减缓医生压力和医患沟通成本。