用多模态大模型智能体对具备人机接口的设备进行泛用性的无侵入自动操作的方法

本发明提供了一种用多模态大模型智能体对具备人机接口的设备进行泛用性的无侵入自动操作的方法，包括：步骤1，信号捕获：边缘设备获取目标设备的输出信号；步骤2，数据上传：边缘计算设备读取其视频流或者将步骤1采集的原始信号转换为可解析的数字信号，然后分割为独立屏幕截图并进行预处理，随后将处理后的截图及识别结果上传至服务器；步骤3，指令生成下发：服务器分析数据后生成后续操作指令，回传至边缘计算设备；步骤4：边缘计算设备将操作指令转化为具体HID信号，发送至目标设备，完成自动化操作闭环。本发明的有益效果是：本发明方法能通过与人类操作员完全相同的方式对目标设备进行自动控制，能应用于任何人类可操作的电子设备。