摘要
本发明公开一种基于多模态信息融合的心脏运动追踪成像方法及系统,包括:X射线设备和ECG设备同步工作一段时间,利用X射线设备收集患者的X射线影像,利用ECG设备收集患者的ECG信号;当多模态信息收集完成后,对X射线影像中每一帧图像进行处理,识别图像中属于心脏运动的区域作为ROI区域;通过分析心脏运动的峰值,将ECG信号与X射线影像在时域上进行配准;将原始X射线影像、原始ECG信号及配准结果输入训练好的关联模型中,关联模型输出与ECG信号频率一致的新的X射线影像,从而展示完整的心脏运动轨迹。本发明通过多模态信息融合,能够更清晰地呈现心脏在不同时刻的运动状态。
技术关键词
X射线设备
多模态信息融合
影像
心脏
成像方法
信号特征
图像编码器
运动
图像处理算法
图像处理模块
频率
患者
注意力机制
解码器