基于沙箱与大型语言模型的智能手机自动操作方法及系统

本发明公开了基于沙箱与大型语言模型的智能手机自动操作方法及系统，涉及移动终端智能化控制领域，包括：对当前手机或应用界面进行遍历，获取结构化格式的界面描述；获取用户指令，与界面描述合并发送至大语言模型LLM进行操作解析，并通过沙箱执行解析结果对应的操作。本发明能够在智能手机上搭建沙箱执行环境，与大型语言模型紧密结合，实现移动端的自动探索与高效操作。在无需编写复杂脚本的前提下，对未知界面或动态变化的场景也能快速适应，并在执行层面提供安全隔离和回退机制，在自动化测试、用户日常操作、应用数据收集与优化等方面具有广阔的应用前景。