基于知识图谱的辅助诊疗问答方法及系统、设备、介质

本发明提供一种基于知识图谱的辅助诊疗问答方法及系统、设备、介质，方法包括：获取原始问句和图片；利用CLIP模型对其进行处理和融合得到融合特征；对融合特征进行处理得到分割掩码；对分割掩码进行处理得到关键词；对图片和关键词进行处理和拼接得到提示向量；对提示向量进行处理得到描述文本，并从描述文本中提取结构化信息；根据原始问句和结构化信息，生成医疗问句；根据医疗问句，得到回答内容。通过对原始问句和图片的融合处理，得到医疗问句，再基于此医疗问句从知识图谱中获得回答内容，避免了用户只能输入文本的限制，允许用户同时拍摄图片并输入一些提示文字的输入方式来进行辅助诊疗提问。