一种多模态智能数字人的人机交互方法和系统

本申请提供了一种多模态智能数字人的人机交互方法和系统。该方法包括：获取用户语音数据和用户视觉信息数据，并处理获得用户意图数据，根据用户语音数据和用户视觉信息数据处理获得用户情感倾向数据，获取业务场景数据并结合用户意图数据和用户情感倾向数据处理获得回复文本数据，数字人根据回复文本数据进行回复，获取当前系统界面图像，并结合所述用户语音数据确定目标控件，数字人对目标控件进行点击，并根据预设时间段内智能数字人的交互效果监测数据处理获得人机交互效果评估指数，实现对人机交互效果的智能反馈；从而实现提高人机交互效果和用户体验的目的。