基于双支路多模态序列学习的影像分析方法

本发明提供了一种基于双支路多模态序列学习的影像分析方法，属于医学影像分析技术领域，该方法包括构建多模态嵌入模块，并利用可学习参数填补缺失多模态疾病数据，融合经填补后的多模态特征，得到受试者的编码特征；利用包括静态信息分析模块和动态信息分析模块的双支路结构对编码特征进行分析，得到双支路多模态影像分析特征；对双支路多模态影像分析特征进行融合，得到纵向队列数据中的影像特征；堆叠所有纵向队列数据中的影像特征，并利用除填补的多模态疾病数据外的多模态数据对堆叠的所有纵向队列数据中的影像特征进行分析，得到影像分析结果。本发明解决了多模态纵向队列影像分析方法对多模态信息与时序演变信息利用不充分的问题。