一种心脏电-机械耦合的跨模态时空-语义对齐方法

本申请提供了一种心脏电‑机械耦合的跨模态时空‑语义对齐方法，包括：获取多模态医学数据集，通过基于可变形卷积网络构建的动态映射矩阵对多模态医学数据集进行空间配准，得到空间耦合医学数据集；基于双流时间卷积网络对空间耦合医学数据集进行时序同步，得到时空耦合医学数据集；通过原型语义对比学习框架对时空耦合医学数据集进行跨模态病理语义对齐，得到时空‑语义对齐数据集；基于三重稀疏交叉注意力机制对时空‑语义对齐数据集进行数据挖掘，得到融合特征，融合特征用于量化时空‑语义对齐数据集中各数据的重要性。采用本方法能够实现跨模态时空一致性对齐与语义校准，从而提升心脏疾病病理关联挖掘能力与智能诊断准确性。