一种多模态操作指令的语义表示方法及系统

本发明提供了一种多模态操作指令的语义表示方法及系统，涉及语义表示技术领域，包括：根据多模态指令数据的特性得到不同模态的指令特征；根据用户意图的抽象描述确定语义标签；根据不同模态的指令特征与语义标签输入至WSABIE模型进行训练，以确定不同模态的指令特征与语义标签的最优映射关系；基于最优映射关系，对不同模态的指令特征与语义标签的相关性进行量化评估，以在语义层面精确解析多模态指令数据，得到多模态指令数据的语义表示。本发明通过多模态特征提取、语义标签生成、基于WSABIE模型的语义映射以及相关性量化评估，成功实现了多模态指令的语义对齐和精确解析，具有高精度、高适应性、高效率的优点。