摘要
本申请提供了一种面向病理学全场图的自动化视觉问答方法、系统及介质,该方法包括:获取全切片图像,将全切片图像进行预处理,剔除非信息区域,得到前景区域;基于分区策略将前景区域分割多个低像素的图像单元,并提取多个低像素的图像单元的视觉特征,将多个视觉特征进行降维处理,得到视觉特征序列;获取用户输入的提示词,将用户输入的提示词进行预处理,得到输入文本,转换为文本特征序列;基于交叉注意力机制对视觉特征序列与文本特征序列进行交互,分析预测答案的概率分布信息,生成问答结果;通过分析全切片图像以及用户的提示词,实现图文交互,进而根据用户的问题,输出相应的回答,提高病理部门的自动化诊疗水平。
技术关键词
自动化视觉
视觉特征
问答方法
交叉注意力机制
分区策略
文本
切片
序列
饱和度
答案
问答系统
滑动窗口
像素
缩略图
图像块
优化预测模型
构建预测模型
可读存储介质
颜色