一种基于屏幕智能体的作业自动化系统及实现方法

本发明公开了一种基于屏幕智能体的作业自动化系统及实现方法，属于人工智能技术领域，一种基于屏幕智能体的作业自动化系统包括：客户端和服务端，客户端和服务端通过websocket协议通信；客户端用于接收用户的任务指令、获取电脑屏幕截图以及在电脑屏幕上执行屏幕操作指令；服务端用于识别电脑屏幕截图对应的屏幕内容，并将屏幕内容和任务指令输入至大语言模型中，输出屏幕操作指令。本发明维护成本低、实施周期短、能够适用于更多业务场景。