自助终端的多模态融合交互系统

本发明公开了一种自助终端的多模态融合交互系统，所述系统包括：语音交互模块，用于基于AI语音引擎识别语音指令并转换为第一操作命令；手势识别模块，用于利用3D摄像头捕捉手部动作转化为第二操作指令；触屏交互模块，用于处理终端触屏设备上的触摸输入为第三操作指令；融合处理单元，用于融合、分析并排序第一操作命令、第二操作命令和第三操作命令，确定最终操作指令；输出模块，用于根据最终操作指令执行相应操作；本发明能够集成多种交互方式，大大提高了交互的灵活性，用户可以根据自己的习惯、当前的环境和身体状况在不同的交互方式之间自由切换，提升了特殊群体使用各种设备的便利性和能力。