一种智慧黑板的多模态交互控制方法及系统

本发明公开了一种智慧黑板的多模态交互控制方法及系统，包括：获取用户的音视频数据流，生成音视频子段与课程数据及智慧黑板中实时课程内容切片匹配；获取用户的手势特征、语音特征及课程内容场景特征，进行自适应多模态融合，生成多模态数据流；构建交互识别分类模型，获取用户的交互控制偏好进行优化，输出用户的交互意图，利用交互意图生成控制响应；并将用户满意度反馈至交互识别分类模型进行识别分类性能优化，并持续更新用户的交互控制偏好。本发明采用多模态交互方式，提高了用户与智慧黑板人机交互的意图识别率及交互鲁棒性，同时大大减少了单模态交互中误识别率过大及交互过程复杂导致的识别效率低等异常状态。