一种用于肺结节分割的多模态时空网络模型及其分割方法

本发明公开了一种用于肺结节分割的多模态时空网络模型，包括多模态特征提取模块，用于分别处理多时间点的CT图像数据和对应的临床文本数据得到高维影像特征和文本特征向量；Vi T STUnet骨干网络，包括由多层Transformer块构成的编码器、时空依赖模块和解码器；跨模态时空融合模块，用于融合多时间点的影像特征差异与临床文本特征；分类模块，基于所述融合特征输出肺结节的良恶性分类结果。本发明提出一种端到端的多模态多任务时空分类网络(MST‑Net)。该网络通过深度耦合机制将多时间点CT图像与临床数据紧密融合，捕捉结节长期演变趋势。