摘要
本发明实施例提供了一种混合交互方法、装置、电子设备及可读介质。所述方法包括:采集用户的多模态交互数据,所述多模态交互数据包括语音数据、触摸数据、手势数据、眼动数据、面部表情数据中的至少两种交互数据;通过所述交互识别模型提取所述多模态交互数据中的特征编码信息,基于所述特征编码信息,确定交互识别信息;基于所述交互识别信息,生成交互反馈信息向用户反馈。由此,可以通过采集多种不同模态的用户输入与系统进行交互,从而提高了交互的便捷性。
技术关键词
多模态交互
眼动数据
语音特征信息
交互方法
编码
手势特征
表情特征
梅尔频率倒谱系数
卷积神经网络提取
卷积特征
手势关键点
面部
融合特征
图像识别模型
通信接口
眼动特征
电子设备
系统为您推荐了相关专利信息
地铁客流量预测方法
大语言模型
多头注意力机制
生成补丁
序列
图像分类方法
交叉注意力机制
多头注意力机制
生成特征向量
幅值
电机运行监控方法
编码向量
工业互联网
卷积神经网络模型
单体
视频帧
场景数据处理方法
深度学习网络模型
序列
视觉特征