摘要
本发明公开了一种基于多模态感知的终端交互方法、装置、终端及介质,所述方法包括:获取多模态感知数据,其中,所述多模态感知数据包括用户的语音信息、表情信息、手势信息以及肢体信息中的任意一种或多种;确定所述终端中显示的目标对象,并基于所述多模态感知数据确定针对所述目标对象的交互意图;基于所述交互意图,控制所述目标对象执行所述交互意图所对应的交互动作。本发明可通过语音、手势、表情等多方面信息的多模态感知数据来实现与终端中显示的目标对象之间的交互,丰富了交互形式,提升了交互效果。
技术关键词
终端交互方法
多模态
意图
交互动作
对象
手势
终端交互系统
语音
生成建议
可读存储介质
数据获取模块
处理器
语义
程序
习惯
图像
存储器
计算机
系统为您推荐了相关专利信息
摘要
大语言模型
电子病历生成方法
电子病历生成装置
数据生成模型
识别算法优化方法
变电站智能巡视
多模态
滑动时间窗
相似性度量函数
三维模型生成方法
变分自动编码器
注意力机制
多尺度
三维模型生成系统