中医大模型的处理方法和装置

本发明提供了一种中医大模型的处理方法和装置，包括：获取患者多模态数据，其中，多模态数据包括：图像数据、声音数据、气味数据、脉搏数据和文本数据；将图像数据输入图像编码器进行编码，将声音数据、气味数据和脉搏数据输入信号编码器进行编码；利用文本图像预训练数据对中医大模型进行预训练，利用多模态指令微调数据集进行后训练；将多模态数据输入完成训练的中医大模型，输出患者的诊断结果。采用统一的信号编码器架构，对气味识别、语音理解（对应闻诊）以及脉搏信号分析（对应切诊）等模态进行统一建模，避免了传统多模态方法因多个编码器带来的冗余计算和模型膨胀问题，在保持诊断准确性的同时，显著优化模型的整体结构与部署效率。