针对电网生产指挥系统的虚拟交互方法及系统

本申请涉及虚拟交互领域，提供了一种针对电网生产指挥系统的虚拟交互方法及系统，其通过虚拟技术接收用户交互手势视频且获取用户输入的交互意图补充文本，并采用基于深度神经网络的数据处理技术来对所述用户交互手势视频进行语义编码，对所述交互意图补充文本进行语义编码，以此基于用户交互手势语义特征和交互意图补充文本语义特征之间的跨模态联合增强编码表示来自动地评估交互意图的类别标签，并确定电网生产指挥系统的交互操作内容。这样，通过手势和文本输入的双重确认机制，可以更准确地识别用户的意图，进而降低误操作风险，提高了电网生产指挥系统在培训仿真中应用的智能化水平。