一种多模态医学信息融合的胎儿辅助诊断系统

本发明公开一种多模态医学信息融合的胎儿辅助诊断系统，包括：信号预处理模块、图像生成模块、文本提取模块、多模态融合模块和输出模块；其中多模态融合模块利用图‑文特征融合网络ITFN对图像生成模块获取的图像数据和文本提取模块获取的文本数据进行特征提取，获得图像特征向量Mi和文本特征向量Mt；将图像特征向量Mi和文本特征向量Mt进行加权融合获得多模态特征向量Zf；输出模块使用全连接层对多模态特征向量Zf降维，输出正常与病理样本分类的结果。本发明采用不同的模型学习局部语义、获取更多相关知识信息，实现有效的胎儿窘迫病理诊断并降低误诊率，具有广阔的实际应用价值。