分布式流式多模态融合的自适应梯度压缩优化方法及系统

本发明属于面向多模态RGB‑T数据融合领域，公开了分布式流式多模态融合的自适应梯度压缩优化方法及系统，方法包括：采用模态敏感的梯度压缩策略，对不同模态的数据特征进行个性化压缩，其中，模态包括RGB模态和红外模态；引入物理约束时序对齐损失，利用基于热扩散方程的物理模型对个性化压缩后的多模态数据进行时序对齐；通过显存感知动态批处理策略，实时监控显存使用情况，根据显存剩余容量动态调整批处理大小。本发明为分布式流式多模态数据的高效训练提供了全新的解决方案，提升了多模态数据融合任务的精度和资源利用率。