基于声纹的动画角色智能同步用户方法

本发明涉及基于声纹的动画角色智能同步用户方法，具体涉及多模态数据处理领域，利用高清摄像头采集用户形象数据，并对用户形象数据进行缩放、像素点位置的匹配和填充，通过直方图均衡化增强图像对比度，利用高斯滤波加权对用户形象数据存在噪声进行去除，使用户形象数据在固定尺寸下保持清晰，并且细节丰富，构建卷积神经网络基于动画的主色调和角色形象输出最终的用户虚拟形象，利用麦克风采集用户声纹数据，通过傅里叶变换对每个窗口的声音信号进行频谱表示，构建Transformer编码器并添加自注意力机制和前馈神经网络，将用户虚拟形象和用户声纹转换的动画语音进行同步并自动替换，为用户提供更加个性化和沉浸式的交互体验。