基于多模态特征嵌入与关键点特征对齐的大模型问诊系统

本发明提出了基于多模态特征嵌入与关键点特征对齐的大模型问诊系统，旨在通过整合医学影像、病历文本等多模态数据，为医生提供精准诊断支持。系统核心是特征转换和特征融合模块。特征转换模块利用卷积神经网络(CNN)和循环神经网络(RNN)，实现图像与文本模态的双向特征转化，增强数据表示能力。特征融合模块通过关键点特征对齐，使用多层感知机(MLP)将深层图像和文本特征映射到联合语义空间，结合最优化传输方法实现多模态特征匹配。系统引入贝叶斯神经网络处理不确定性，提升鲁棒性。通过整合医疗知识图谱，进一步增强诊断的准确性和个性化。该系统为医疗问诊提供高效、可靠的支持，可拓展应用于远程医疗和个性化诊疗等场景。