一种基于跨模态通信系统的信源信道联合编解码方法

本发明公开了一种基于跨模态通信系统的信源信道联合编解码方法，涉及跨模态图像信号重建技术领域，包括：首先，设计跨模态信源编码器，将带有类别标签的触觉信号和图像信号输入跨模态信源编码器，挖掘模态间深层次的融合特征信息。其次，设计信道编码器与信道解码器，将提取的融合特征直接映射为用于信道传输的比特流，提升系统对信道变化的适应能力。最后，在接收端设计相应的信源解码器，从深层次的特征信息中完成高质量图像信号重建。本发明提供的基于跨模态通信系统的信源信道联合编解码方法降低网络中的功耗，使用适应度函数测量了云网络和服务器(主机)之间的负载平衡，将负载平衡问题转换为优化问题，从而能够适用于处理资源优化。使用粒子群的结果作为遗传算法的初始种群，本发明在执行成本、负载平衡和完成时间方面都取得更加良好的效果。