摘要
本公开涉及医疗诊断技术领域,提供了一种多模态痴呆分析辅助诊断方法、系统、装置、介质及设备,包括:获取就诊者的问诊视频,对视频进行多模态特征提取处理得到多模态特征数据集;基于大语言模型和预设语音标准对语音特征数据进行分析得到语音维度信息;基于大语言模型和预设文本标准对文本特征数据进行分析得到文本维度信息;基于大语言模型和预设视觉标准对视觉特征数据进行分析得到视觉维度信息;对各模态特征数据分别进行时间对齐处理以及特征融合处理,得到综合多模态特征向量;基于大语言模型和预先构建的临床痴呆评定量表对其进行痴呆症状诊断分析,基于分析结果、各模态维度信息确定诊断结果。本公开能够提高痴呆症诊断的准确性与效率。
技术关键词
大语言模型
语音特征数据
文本
视觉特征
评定量表
痴呆症状
辅助诊断方法
特征提取模块
视频采集模块
分析模块
辅助诊断装置
语音信号提取
关键帧
多模态特征融合
系统为您推荐了相关专利信息
预测模型构建方法
常见妇科疾病
深度学习算法
医学影像数据
基因组测序数据