摘要
本发明提供了一种齿科疾病的多模态诊断方法及电子设备。其中齿科疾病的多模态诊断方法,包括:得到患者CT图像数据集及病情文本信息数据集;将患者CT图像数据输入训练的Mask R‑CNN模型得到第一CT病理信息;将患者CT图像数据输入训练的SAM模型得到第二CT病理信息;将第一CT病理信息和相应的第二CT病理信息进行信息融合得到CT病理信息,基于所述CT病理信息得到CT病理信息数据集;基于患者CT图像数据集、病情文本信息数据集和CT病理信息数据集对构建的多模态模型进行预训练,得到训练后的多模态模型;基于训练后的多模态模型对齿科疾病进行诊断。达到提高诊疗效率和准确性,避免误诊的目的。
技术关键词
CT图像数据
诊断方法
图像块特征
神经网络结构
文本
疾病
患者
电子设备
模型超参数
优化器
牙齿结构
轻量型
处理器通信
图像分割
坐标
控制点
系统为您推荐了相关专利信息
语音识别模型
语音识别方法
声学特征
多任务
解码器
跨模态检索方法
文本编码器
共享适配器
矩阵
图像编码器