心脏瓣膜对缘修复术用辅助诊断系统、方法、程序产品及设备

本发明公开了一种心脏瓣膜对缘修复术用辅助诊断系统、方法、程序产品及设备，通过分析手术图像和医生的问题，自动回答相关的诊断、治疗和解释问题，并提供实时的手术建议和优化方案，可提高TAVR手术的安全性和有效性。所述辅助诊断系统基于训练好的基础视觉问答模型，包括输入模块、视觉模块、语言模块和输出模块。输入模块接收医学影像和自然语言问题作为系统输入。视觉Transformer模型对医学影像进行处理，提取图像的视觉特征；语言Transformer模型对问题进行处理，并基于所述视觉模块提取的视觉特征生成答案；输出模块将生成的答案以文本或语音形式输出。