端云协同环境下反馈学习引导的人脸视频恢复方法

本发明公开了端云协同环境下反馈学习引导的人脸视频恢复方法。本发明包括两个训练阶段：1.在云侧人脸视频恢复模型预训练阶段，将高清的身份参考图像解析为文本和视觉模态的提示，指导模型去噪恢复过程，解决了缺乏身份上下文信息而导致的结果身份平均化问题；2.在端云协同学习阶段，在各端侧结合人脸相似度分数和面部自然分数进行反馈学习，使恢复结果兼顾身份保真和人类偏好；为了生成反映人类对恢复结果自然程度的偏好的面部自然分数，本发明在人类注释偏好数据集训练了对应的奖励模型；本发明在推理阶段提出了一种指数混合的采样策略来解决帧间身份漂移问题。