基于多模态融合的中医辅诊大模型微调训练方法及装置

本发明公开了基于多模态融合的中医辅诊大模型微调训练方法及装置，涉及中医大模型技术领域。本发明通过transformer编码器对中医四诊模态数据进行独立编码，再进行多模态融合，基于改进的对比学习损失训练编码器和特征融合模块，对齐多模态数据，再通过多模态融合适配器平衡各模态嵌入，缓解大模型接收各模态数据输入的时候产生的幻觉问题，促使大模型的微调部分可以学习到更平衡的多模态表征，提高了大模型在所有类别上的识别能力。