一种基于多模态融合的可解释罕见病辅助诊断系统及方法

本发明涉及一种基于多模态融合的可解释罕见病辅助诊断系统及方法，该系统包括用于接收患者用户多模态数据的输入模块，输入模块分别连接视觉编码器和文本编码器，视觉编码器和文本编码器连接至模态融合分类器，输入模块、视觉编码器、文本编码器和模态融合分类器分别与可解释性分析模块相连接，其中，视觉编码器用于从多模态数据中提取视觉特征；文本编码器用于从多模态数据中提取文本特征；模态融合分类器用于拼接视觉特征和文本特征，并进行分类诊断，输出分类识别结果；可解释性分析模块用于生成包含各多模态数据对分类识别结果重要性分布的热力图。与现有技术相比，本发明能够提供准确的罕见病辅助诊断结果，并提高诊断过程的透明度和可信度。