摘要
本发明涉及一种少类多种多模态医疗数据融合的方法、系统、电子设备、可读存储介质,属医疗数据处理领域。包括:对输入的文本数据、时间序列数据、图像数据进行特征提取;对提取后的单模态特征进行对齐及融合;采用基于前缀标记Prefix Token的任务区分策略实现多任务学习;根据输入样本的任务需求加载相应的前缀标记Prefix Token,并使用任务对应的解码方式实现推理。本发明在单一模型中实现了文本生成、时序预测、分类和异常检测等多任务的协同优化,确保各任务性能的均衡,在处理小样本、高噪声以及不完整数据时表现出显著的鲁棒性,提高了模态融合的效率和质量,降低了系统复杂性,同时提高了模型的易用性和可部署性。
技术关键词
多模态
数据
多任务
模态特征
解码方式
序列
标记
时序
图像
文本编码器
电子设备
处理器
可读存储介质
多层感知机
计算机程序产品
语义向量
生成特征
注意力机制