摘要
本申请公开了一种基于图文交互的医学影像分割方法及系统,涉及影像分割技术领域,其首先获取医学影像并提取多尺度视觉特征,利用医学知识图谱深度解析用户文本描述,并利用医学解剖知识图谱进行知识增强,从而构建出融合了深层语义与精确解剖上下文的增强文本向量。进而,通过多粒度语义接地与协同融合机制,将增强文本向量与多尺度视觉特征进行渐进式的跨模态对齐与信息交互,引导模型聚焦并精确定位目标区域,最终由解码器生成高精度的分割掩膜。这样,结合了自然语言的灵活性与医学先验知识的精确性,能有效克服复杂或模糊场景下的分割挑战,显著提升了分割任务的准确度与鲁棒性。
技术关键词
接地特征
医学影像分割方法
跨模态
文本特征向量
语义
多尺度
接地模块
编码向量
医学专用
图文
医学影像分割系统
输入解码器
影像分割技术
医学知识图谱
掩膜
视觉特征提取
语言编码器