摘要
本发明公开了一种基于多模态数据融合的ICU多任务辅助诊疗方法和装置,包括:构建包括电子病历时间序列数据和医学影像数据的多模态数据集,并在多模态数据集中记录患者的多任务预测标签;利用多模态数据集对构建的包括多模态特征学习模块、多模态异构图构建模块、异构图学习模块和多任务预测模块的ICU多任务预测模型进行训练;将新采集的患者数据输入训练后的ICU多任务预测模型进行多任务预测。本发明方法能够实现多模态信息的有效整合与相似患者之间的知识迁移,可同时完成死亡率预测、住院时长预测和疾病风险预测,显著提升模型在现实临床环境下的适应性、可扩展性与预测性能,可广泛应用于实际临床场景中辅助智能诊疗。
技术关键词
辅助诊疗方法
多任务
多模态数据融合
多模态特征
医学影像数据
多头注意力机制
电子病历
节点
异构
患者
融合特征
邻居
模块
预测模型训练
KNN算法
辅助诊疗装置
Softmax函数