融合图形界面与语言界面的人机交互方法、装置和设备

本申请提供了一种融合图形界面与语言界面的人机交互方法、装置和设备，该方法包括：将语音指令输入第一神经网络模型，输出第一用户意图、第一槽位信息及第一置信度值；在第一置信度值大于或等于第一预设置信度值的情况下，确定第一槽位信息为第一目标槽位信息，确定第一用户意图为第一目标意图，跳转至第一目标意图对应的第一目标图形界面并填充，生成提示信息完成交互；在第一置信度值小于第一预设置信度值的情况下，将语音指令与环境信息输入第二神经网络模型，再将输出结果输入第一神经网络模型，输出新意图和新槽位信息，跳转至新图形界面并填充，生成新提示信息以完成交互。本申请解决了系统在处理复杂多变的用户输入时准确率低的问题。