一种基于多模态特征融合的TIPS术后肝性脑病预测系统

本发明公开了一种基于多模态特征融合的TIPS术后肝性脑病预测系统，包括数据预处理模块，基于预训练参数的特征提取模块，基于交叉注意力机制的特征融合模块和分类器模块的系统网络模块；特征提取模块包括全连接操作单元、卷积操作单元；融合模块包括、池化单元、交叉注意力单元。该模型利用了图像和患者临床数据，经过两路特征提取网络，分别提取两种模态数据的内在信息，最终将提取到的有用信息利用多头注意力机制将其融合，将融合得到的信息输入到分类器中获得预测结果。该模型实现了有监督分类。同时，该网络在CT图像特征提取阶段，利用经典网络的预训练参数，使得其网络模型更加容易被训练。