摘要
本发明公开了一种基于多粒度知识融合的影像报告生成方法、系统及设备,方法包括:影像报告预生成单元,用于接收医学影像作为输入,并通过影像报告生成模型对医学影像进行处理以获取初始影像报告文本;知识检索单元,用于基于初始影像报告文本从公开医学知识库、本地自建医学知识库及实时数据源中检索相关医学实体及其定义知识,得到多源医学知识;知识融合单元,用于对所述多源医学知识进行融合,以获取融合知识文本;最终报告生成单元,用于结合医学影像、初始影像报告文本及融合知识文本,通过影像报告生成模型进行影像报告的再生成,获得最终影像报告。本发明能够显著减少诊断错误,提高医生的工作效率,同时为患者提供更易理解的报告。
技术关键词
报告生成系统
影像报告生成方法
医学知识库
视觉特征
多模态
实体识别技术
残差网络
医学知识图谱
编码器
自然语言文本
分层注意力
图文
深度学习技术
适配器
大语言模型
系统为您推荐了相关专利信息
TWS耳机
计算机执行指令
多模态
场景
降噪模式
信息智能分析
决策系统
医院
多模态
疾病诊断辅助
多模态数据融合
输电导线
测量方法
图像
高精度传感器