一种基于多模态深度学习的智能辅助方法及系统

本申请公开了一种基于多模态深度学习的智能辅助方法及系统，涉及医学影像处理、数据处理技术，包括：基于病情描述文本数据提取文本特征，以及提取医学影像数据的影像特征；根据提取的文本特征和影像特征分别输入预先训练的LSTM，以利用LSTM输出上下文的病情文本特征和局部的病灶特征；对所输出的上下文的病情文本特征和局部的病灶特征，利用注意力融合机制进行加权融合；将加权融合的特征利用编码器进行编码，以通过编码器输出文本关联的病灶特征；将文本关联的病灶特征与局部的病灶特征利用解码器进行解码，以基于所述解码器输出预测的病灶情况。本申请通过跨模态的文本与图像特征的融合，提高了模型的预测精度。