基于结构感知与少样本学习的跨软件操作智能体训练方法

本发明涉及一种基于结构感知与少样本学习的跨软件操作智能体训练方法，包括：接收源软件上的用户的操作意图，进行预处理，并进行意图编码，得到高维意图语义向量；提取源软件上的软件GUI的控件属性信息，构建控件树，并转换为高维结构语义向量；捕获源软件上的GUI屏幕并进行图像编码，得到视觉特征向量；采用交叉注意力机制将高维意图语义向量、高维结构语义向量以及视觉特征向量进行注意力的语义一致性对齐和融合，得到融合后的特征表示；基于融合后的特征表示，构建原型库，获取目标软件上的少量用户操作样本，并利用少量用户操作样本更新原型库，以实现知识迁移，完成训练过程。与现有技术相比，本发明具有泛化能力强、高效等优点。