一种基于二次推理的数字人驱动方法、装置

本发明提供了一种基于二次推理的数字人驱动方法、装置，涉及数字人技术领域，该方法首先通过固定参考帧推理，确保口型的稳定性和牙齿形态的一致性；其次利用滑动参考帧推理，动态调整人脸角度和背景，使生成的视频更加自然流畅；最后通过融合两次推理结果，进一步优化了数字人的视觉效果。此外，本方法还引入了异常帧跳过策略，能够自动检测并跳过视频中的异常帧，避免因异常帧导致的驱动错误，从而提高驱动的鲁棒性。旨在解决现有驱动方法口型动作在时间维度上存在不连贯性、人脸周边背景与整体画面不一致的问题。