摘要
本申请提出一种手语生成方法、装置、电子设备、存储介质及产品,该方法对说话人的语音音频中的每帧音频帧进行情感分类,确定语音音频对应的情感特征序列;基于语音音频和情感特征序列,对说话人动作图片帧中的说话人面部动作和手部动作进行调整,生成语音音频对应的说话人手语动作图片序列。采用本申请的技术方案,能够将语音音频结合语音音频的情感特征对说话人动作图片帧中的说话人面部动作和手部动作进行调整,使得说话人的手语动作和面部表情具有情感特征,提高了手语生成的情感度。另外,说话人手语动作图片序列中的说话人面部动作和手部动作的风格与听障人士的手语表达风格相同,提高了手语生成的准确度,更方便听障人士的理解。
技术关键词
手语
情感特征
音频
光流特征
图片
语音
样本
序列
生成方法
身份
生成算法
编码器
计算机程序指令
风格
面部识别
处理器
电子设备
视频帧