一种基于GAN的数字医生表情、动作与情感交互模拟系统

本发明提供了一种基于GAN的数字医生表情、动作与情感交互模拟系统，包括数据集构建模块、音频编码器、动作掩码编码器、Transformer转换器、训练模块和数字医生生成模块。数据集构建模块用于构建高质量的医疗场景数据集；音频编码器采用预训练模型从音频中提取高级特征表示；动作掩码编码器用于提取与视频帧尺寸相同的二值图像中的动作特征信息；Transformer转换器用于实现多模态数据的融合；训练模块用于对GAN网络进行训练；数字医生生成模块通过训练好的生成器生成逼真的全身动作和表情序列。本发明系统能够根据当前系统中语音对话更准确的生成数字医生的表情和动作，避免传统在线诊疗系统中用户不满意、数字医生表情生成不佳等问题。