一种计算与通信效率跨模态模型协同训练方法和系统

本发明公开了一种计算与通信效率跨模态模型协同训练方法和系统，训练方法包括如下步骤：采用融合局部感知与全局语义关联的混合网络结构，结合结构重参数化技术压缩模型规模以构建轻量化跨模态基础模型架构；构建极简特征适配模块，在跨模态基础模型架构的输出端添加极简特征适配模块，通过逐步缩减其参数量至极简线性变换形式，实现本地特征差异化调优，同时减少通信传输数据量；在本地训练中，通过对比公共参考数据集与本地数据的特征分布差异，最小化分布距离损失函数，促使各参与方的特征空间逐步对齐；服务器端维护全局特征适配模块参数，各参与方基于本地数据对模块进行微调后上传更新，通过加权平均实现全局模型优化。