基于强化学习和异构超图的多模态医学数据融合方法及系统

本发明属于强化学习和数据融合技术领域，公开了基于强化学习和异构超图的多模态医学数据融合方法及系统。本发明首先利用不同模态数据对应的基于强化学习和动态异构超图的特定模态表征学习方法，得到每个模态各自的表征向量；最后对模态各自的表征向量进行融合，得到多模态融合表征向量。本发明通过强化学习自适应选择邻居节点，实现了基于强化学习的动态异构超图构建，从而提高了信息传递的准确性。为了提高融合效率，还使用了基于对比学习的多模态表征向量融合方法，有效探究模态之间相互作用关系。