一种动态稀疏跨模态融合数据特征提取方法及系统

本发明公开了一种动态稀疏跨模态融合数据特征提取方法及系统，所述方法包括多模态特征编码与对齐，动态稀疏跨模态融合，由近端算子稀疏控制器和Top‑k稀疏跨模态注意力模块两个模块协同完成；经过动态稀疏融合后，得到包含高度浓缩的跨模态信息的特征，通过层次化数据编码器模块，将跨模态信息的特征转化为结构紧凑、语义丰富的数据表示；采用混合专家架构；所述系统包括模态特征编码器、动态稀疏融合层、数据编码器以及任务适配器。本发明使得传统跨模态融合的计算复杂度大幅降低；使数据在保留细粒度细节同时具备全局一致性；显著降低了计算开销，同时保持了跨模态语义的丰富性，适用于图像、音频等多模态数据的特征提取任务。