中医药多模态LLM训练方法及其应用

本申请提供了中医药多模态LLM训练方法及其应用，涉及生物和人工智能交叉领域。该方法包括：获取带标签的多模态医学数据；训练视觉和时序特征提取模型以生成舌苔和脉搏特征；通过跨模态自注意力机制模型对舌苔和脉搏特征进行联合特征；训练文本特征提取模型以生成文本特征；联合特征和文本特征输入跨模态注意力机制模型，生成融合特征；最终将各模型集成到大语言模型中，生成中医药多模态LLM。前述训练方法提升了多模态信息的协同表达能力，增强了特征之间的深层语义关联，实现了中医药多模态信息的高效融合。