基于医疗多模态数据的大模型训练方法、系统

本发明涉及基于医疗多模态数据的大模型训练方法、系统，属医疗数据处理领域。本发明包括：对选择的预训练大语言模型的注意力机制和前馈神经网络部分进行冻结，嵌入层和归一化层进行重新训练；对多模态数据使用模态编码器进行编码；在各模态编码器的输出后增加投影层，将不同模态的特征映射到相同的特征空间，对将不同模态的特征进行对齐，再进行拼接，形成一个统一的多模态表示向量；设计多任务输出结构，用于对围手术期中的不同任务需求进行处理；采用联合训练策略，对预训练大语言模型在多模态数据和多任务需求下进行优化。本发明能更有效地处理多模态异构数据，并在医疗场景下提供更高效、更准确的预测、生成和分类效果。