一种提升智能体能效操作任务能效方法及系统

本发明提供了一种提升智能体能效操作任务能效方法及系统，通过构建UI操作智能体框架，自动行成UI操作轨迹训练多模态模型，自动收集及处理多模态UI操作教程；结合UI操作智能体框架及大数据抓取和处理，自动将多模态UI操作教程收集整合及大数据分析挖掘处理，并行成UI操作轨迹数据集合，构建多样化图形界面操作数据集；根据UI操作轨迹数据集合及多样化图形界面操作数据集，训练多模态模型，形成UI操作智能体；跨系统应用循环训练调优UI操作智能体跨不同操作系统和应用进行泛化；构建UI操作智能体验证架构，在UI操作评估测试集上测试UI操作智能体，同步验证智能体在基准测试中的定位能效和导航能效及多任务并行操作能效。