一种基于多模态下的视觉交互系统

本发明属于视觉交互技术领域，本发明公开了一种基于多模态下的视觉交互系统；包括：采集用户的视觉模态数据和用户语音指令数据；将视觉模态数据进行预处理，得到视觉特征，将用户语音指令数据进行语音识别，获得语音指令文本特征；将视觉特征和语音指令文本特征进行融合，构建得到多模态融合特征向量；基于多模态融合特征向量，利用构建完成的意图分类模型，获得用户的N种交互意图类别；将多模态融合特征向量进行权重调整，得到调整后的多模态融合特征向量；将调整后的多模态融合特征向量输入构建完成的交互策略生成模型中，得到交互策略，将交互策略发送至人机交互终端；确保长期使用过程中保持高水准的交互体验。