一种多模态人脸语义通信方法、设备及介质

本发明公开了一种多模态人脸语义通信方法、设备及介质，属于语义通信技术领域，用于解决目前的人脸语义通信方案在灵活性、协同性、通信效率以及信道适应性方面均存在不足，无法适应当前用户对人脸传输服务的多样化需求的技术问题。包括：对人脸视频流中的人脸图像进行语义转化，得到对应的图像语义表征信息；基于语言重塑指令中的语义特征及人脸图像中的人脸特征确定语义偏移量；根据语义偏移量对图像语义表征信息进行优化；对发送端与接收端之间的传输信道进行编码策略优化，基于信道噪声对接收端的解码器进行参数微调；通过优化的传输信道将图像语义表征优化信息发送到接收端，并通过参数微调后的解码器对语义表征优化信息进行解码及图像重建。