摘要
本发明公开了一种扫地机器人及其语音交互方法和装置、存储介质,其中,扫地机器人语音交互方法包括:获取用户的语音信息、扫地机器人周围的图像信息和扫地机器人的状态信息;将语音信息转换为语音文本信息,以及将图像信息转换为图像描述信息;根据语音文本信息、图像描述信息和扫地机器人的状态信息生成多模态语义表征;根据多模态语义表征确定回复信息;控制扫地机器人输出回复信息。由此,可以实现扫地机器人与用户之间语音交互的智能性和自然性,简化用户的操作,并提升了用户与扫地机器人之间的体验和效率。
技术关键词
语音交互方法
多模态
语义
语音交互装置
文本特征向量
图像特征向量
黑白名单
控制扫地机器人
跨模态
注意力机制
场景
输出模块
可读存储介质
规划
系统为您推荐了相关专利信息
事件脉络生成方法
摘要
文本
预训练语言模型
语义
深层特征提取
监测方法
特征提取模块
融合特征
监测模块
规划
语义向量空间
深度学习模型
网架结构
word2vec算法
财务数据管理系统
大语言模型
数据访问
层级
语义