智能家居多模态对话方法、装置、设备及介质

本发明涉及家用电器领域，提供一种智能家居多模态对话方法、装置、设备及介质，方法包括：将设备对话数据输入至多模态对话模型中，提取设备对话数据中文本信息的词特征、词特征对应的词性特征和相邻词特征之间的关系特征，根据关系特征分别对词特征和词性特征进行文本增强，根据文本信息提取上下文向量，结合文本增强后的词性特征和词特征，得到解码词序列，根据设备对话数据预测用户情感状态，并结合解码词序列生成答复预测结果。本发明解决了多模态对话技术难以契合人类情感需求的缺陷，能够确保生成的回复不仅在内容上符合逻辑，在情感表达上也与用户状态相匹配。