一种基于文字-3D图像的多模态脑卒中预测方法

本发明公开了一种基于文字‑3D图像的多模态脑卒中预测方法，其过程包含如下步骤：收集样本数据和预处理：获取脑卒中患者MRI样本以及每个样本病灶区域的自然语言描述信息，并将文字描述转换为向量表示，作为后续模型的输入；构建模型：使用卷积神经网络（CNN）作为图像特征编码模块，均采用U‑Net架构。模型优化：我们采用Soft Dice Loss和Cross Entropy Loss两个的加权作为模型的损失函数，以更好地优化模型；多模态融合：我们利用Transformer结构将视觉和语言信息进行融合，实现跨模态特征的深度交互；模型评估：使用Dice系数、精确度、召回率、HD95共4个评价指标来评估分割模型的性能。通过对比模型在不同评估指标下的表现，不断优化分割结果。