摘要
本发明公开了一种面向不完整多模态数据的双层缺失抵抗方法,包括:构建细粒度模态内缺失抵抗模块,通过动态平衡缺失区域抑制与全局能力保持的关系,增强模型对模态内局部缺失数据的鲁棒性;设计粗粒度模态间缺失抵抗模块,采用跨模态共享特征预测填补全模态缺失信息,结合任务驱动的能力感知评分器动态计算模态融合权重,实现基于注意力机制的自适应特征融合。本发明通过动态权重分配机制强化高质量数据的监督信号,在缺失率高达90%的极端场景下仍保持模型鲁棒性,有效解决了多模态数据中混合粒度缺失导致的语义理解偏差问题。
技术关键词
跨模态
打分器
数据
权重分配机制
交叉注意力机制
动态
模块
预处理技术
多模态特征
语义
处理器
鲁棒性
计算机程序产品
存储器
可读存储介质