摘要
本发明涉及数据处理技术领域,可应用于医疗健康和金融科技等业务系统平台中,公开了一种基于注意力多粒度机制特征融合方法,包括:获取各模态的输入数据,并将所述各模态输入数据输入到多粒度编码器组;所述多粒度编码器组从所述各模态输入数据中提取每个粒度的粒度特征向量;将所述粒度特征向量输入动态门控机制,输出动态粒度权重;根据所述粒度特征向量和动态粒度权重获得加权多模态特征;将所述加权多模态特征输入跨模态注意力融合模块中进行融合处理,输出融合特征。本发明通过多粒度编码器提取特征,动态门控机制分配权重,跨模态注意力融合模块整合信息,实现鲁棒的多模态融合,提升复杂场景下的性能。
技术关键词
特征融合方法
多模态特征
注意力
动态门控
机制
融合特征
跨模态
音频编码器
文本编码器
上下文特征
融合装置
加权特征
矩阵
计算机设备
模块
数据处理技术
医疗健康
系统为您推荐了相关专利信息
故障诊断系统
多任务深度学习模型
智能故障诊断
多尺度特征提取
融合策略
识别检测系统
转换器模块
新型视觉
识别检测方法
特征提取模块
数据汇聚方法
多模态
构建知识图谱
交叉注意力机制
异构
遥感影像分割方法
丘陵山区
数字表面模型
植被
影像配准技术