一种指令驱动的端侧智能体控制方法及系统

本发明公开了一种指令驱动的端侧智能体控制方法及系统，通过训练并测试屏幕内容理解模型：收集制作屏幕内容理解所需要的屏幕内容理解数据集；使用所述屏幕内容理解数据集进行屏幕内容理解模型的增量微调训练；训练并测试指令翻译模型：收集完成指令翻译所需要的指令翻译数据集；使用所述指令翻译数据集进行指令翻译模型的增量微调训练；组合智能体并执行用户请求：将所述屏幕内容理解模型和所述指令翻译模型组合成智能体，调用安卓ADB工具箱执行用户请求。本发明避免了探索式智能体效能低下的现象，降低了对多模态LLM高算力需求。