一种面向人机交互系统的多模态融合控制方法

本发明公开了一种面向人机交互系统的多模态融合控制方法。首先，以人类操控移动机器人为例，开发了强化学习算法使机器人能学习最优模态优先级策略。此外，基于零空间行为控制NSBC方法创新了多模态融合技术：当强化学习算法获得特定模态优先级后，该方法可无缝整合来自多模态的潜在冲突控制指令。NSBC方法实现了从同步操作到异步操作的拓展，使其适用于多模态HRI系统。为验证框架方法的有效性，开展了障碍环境下移动机器人运动控制实验。结果表明：在平均任务完成时间、碰撞率、人工参与度及任务错误率等维度，本方法均优于传统单模态HRI控制方法与固定加权多模态方法。实验末期的问卷调查进一步证实了用户对我们所提HRI框架的接受度。