一种多模态Action Transformer模型及其智能化任务执行方法

本发明涉及企业流程自动化领域，尤其涉及一种多模态Action Transformer模型及其智能化任务执行方法；技术问题：现有Web页面操作自动化技术中存在的灵活性和适应性不足、泛化能力弱、上下文理解能力有限、多模态信息整合不足及数据利用效率低的问题；技术方案：一种多模态Action Transformer模型及其智能化任务执行方法，包括有多模态输入处理模块、多模态融合模块、Transformer编码器和操作预测模块；本发明通过同时处理图像、文本、DOM结构等多种输入，提高了对页面变化的容错能力和适应性，通过注意力机制能够有效捕捉和利用操作序列中的长程依赖关系，通过注意力机制和特征融合层，实现了图像、文本、DOM结构等多种模态信息的深度融合。