多模态医学大模型应用及微调方法、装置及计算机设备

本说明书涉及自然语言处理技术领域，尤其是多模态医学大模型应用及微调方法、装置及计算机设备，所述方法包括：获取多模态特征数据；将多模态特征数据输入至预先训练好的多模态医学大模型中，得到输出的结果，其中，所述多模态医学大模型包括多模态语义对齐模型及集成增强医学大模型，所述多模态语义对齐模型由将多模态特征样本向量、表征提取样本向量及所述多模态特征样本向量对应的语义标签，训练初始多模态语义对齐模型得到。本发明集成多个源医学模型的知识和能力，减少对数据资源的依赖，提升了模型的泛化能力，增强诊断的准确性与可靠性；提取多模态特征并优化其语义对齐效果，避免信息丢失和语义偏移。