摘要
本发明涉及针对多模态数据的数据融合方法,通过对多模态数据进行采集,之后分别针对影像数据进行数据特征提取得到第一数据特征;针对文本数据进行数据特征提取得到第二数据特征;针对结构化数据进行数据特征提取得到第三数据特征;针对多时间点数据进行数据特征提取得到第四数据特征;针对时间序列数据进行数据特征提取得到第五数据特征;针对文本信息与实验结果数据进行数据特征提取得到第六数据特征;对所述第一数据特征、第二数据特征、第三数据特征、第四数据特征、第五数据特征以及第六数据特征进行多模态融合得到融合数据。本发明通过多模态数据融合,综合考虑不同类型的数据,从而提升诊断的准确性,为医护人员的诊断带来极大地帮助。
技术关键词
数据特征提取
数据融合方法
文本
医学知识库
特征协方差矩阵
影像
时间序列形式
多模态数据融合
线性变换矩阵
多头注意力机制
随机森林模型
LSTM模型
重构
语义特征
成分分析
病历
系统为您推荐了相关专利信息
标注管理方法
周期
点云数据标注
跨模态
多模态协同