基于多模态数据的辅助诊断方法、装置及电子设备

本公开提供一种基于多模态数据的辅助诊断方法、装置及电子设备，方法包括：获取多模态样本集和样本诊断报告，多模态样本集包括样本眼动特征、样本脑电特征、样本心率特征和样本皮电特征，样本诊断报告包括样本诊断结果、样本临床记录、样本就诊记录；根据多模态样本集和样本诊断报告，训练得到疾病诊断模型；获取患者的多模态信息；将患者的多模态信息输入至疾病诊断模型，得到患者的的诊断结果。本公开实施例提供的技术方案，通过大量患者的多模态信息和对应的诊断报告训练疾病诊断模型，通过疾病诊断模型进行疾病诊断，不仅充分利用了患者的多模态信息，也提高了疾病诊断的效率。