一种基于多模态融合大模型的病历质控方法及系统

本发明公开了一种基于多模态融合大模型的病历质控方法及系统。将质控规则与文本拼接，得到拼接后的文本；将图像、拼接后的文本和时序数据输入多模态融合大模型，计算以图像为第一查询序列、文本为第一键序列和第一值序列之间的第一融合相似度矩阵；根据该矩阵为第一查询序列的查询元素分配第一权重；根据第一权重对第一值序列进行加权求和得到融合输出特征；计算以时序数据为第二查询序列、融合输出特征为第二键序列和第二值序列之间的第二融合相似度矩阵；根据该矩阵为第二查询序列的查询元素分配第二权重；根据第二权重对第二值序列进行加权求和，输出病历质控结论。通过融合多种模态的医疗数据源，利用人工智能技术，实现对病历的内涵质控。