摘要
本公开的实施例公开了多模态病例数据库构建方法、装置、电子设备和介质。该方法的一具体实施方式包括:对多模态医学病例文档进行版面区域检测,得到病例区域信息集;对病例区域信息集进行层次树构建,得到病例区域逻辑层次树;生成病例分割提示词信息;对多模态医学病例文档进行病例分割处理后进行结构化信息提取处理,得到病例文本结构化信息集;对医学分割病例集进行类别识别,得到医学图像类别标签信息集;对病例文本结构化信息集和医学图像类别标签信息集进行多模态信息关联,得到多模态合成医学病例信息集,以及构建多模态病例数据库。该实施方式可以自动提取并整合多模态医学病例,提高构建数据库的效率和减少存储资源的浪费。
技术关键词
文档特征
图像类别标签
医学
文本
数据库构建方法
多模态信息
坐标
非线性特征
空间注意力网络
多尺度
池化特征
视觉特征
大语言模型
通道
特征融合网络
逻辑
数据库构建装置