摘要
本发明涉及一种复杂共病网络跨模态时序图模型的构建方法,属于共病网络技术领域,包括以下步骤:S1:将患者诊疗数据划分为文本数据、影像数据和时序数据分类;S2:采用词嵌入模型处理文本信息,采用卷积神经网络处理影像信息,采用时序建模模块处理时序数据;然后采用跨模态多头注意力CM‑MHA模块对三种特征进行跨模态融合,形成带时序的特征矩阵Ffused;S3:根据患者当前诊疗信息,采用优势比RR方法搭建复杂共病网络;S4:采用图嵌入技术将带时序的特征矩阵Ffused嵌入复杂共病网络,并根据时序数据更新规则,形成跨模态的时序共病网络。
技术关键词
跨模态
时序
词嵌入模型
患者诊疗数据
网络
注意力
文本
诊疗信息
矩阵
疾病
数据分类
影像
数据更新
序列
记忆
模态特征
模块
图像
编码器