摘要
本发明基于医学影像与病理数据的诊断信息智能确定方法及装置,其中方法包括提取医学影像特征,并对提取的医学影像特征进行编码;提取病理数据的语义特征;将所述编码后的医学影像特征、与所述语义特征输入至融合模型进行融合,得到融合向量,其中,所述融合模型通过多头注意力操作进行融合;且在融合前基于唯一标识将所述编码后的医学影像特征与所述语义特征进行对齐;将所述融合向量输入至预测模型中,输出诊断文本。通过将医学影像和病理数据融合,避免了数据孤岛现效应提高了预测精度,并且能够掌握病情要点,降低漏诊和误诊率。
技术关键词
医学影像特征
语义特征
注意力
智能诊断方法
Attention机制
可视化方式
数据
卷积神经网络模型
文本
全局平均池化
编码器
特征提取单元
解码器
重构误差
协方差矩阵
成分分析
输出特征
标识