大模型优化的集成传感器多模态数据边缘计算系统及方法

本发明公开了一种大模型优化的集成传感器多模态数据边缘计算系统，它包括数据预处理模块通过大模型得到各模态数据的预训练参数；模态特定编码模块通过编码器分支优化注意力权重来确定各模态数据的关键信息，得到各模态的高级特征表示；融合策略选择与执行模块通过计算其余模态与最终核心模态的相关性，将其余模态中相关性最强的模态的高级特征表示与最终核心模态的高级特征表示输入跨模态编码器生成已融合模态的融合特征表示，继续进行模态融合操作直到所有模态都融合，并生成最终融合特征表示；跨模态编码与任务处理模块通过跨模态特征表示最终生成多模态融合模型预测结果。本发明提升了多模态数据处理的性能和适应性以及数据处理效率。