智能交互方法、智能交互应用部署方法及相关设备

本公开提供一种智能交互方法，包括：接收用户输入的智能交互任务；获取用户交互界面的第一截图；识别所述第一截图上的至少一个可操作页面元素；为所述至少一个可操作页面元素分别分配操作序号；基于所述第一截图以及所述至少一个可操作页面元素的操作序号生成参考图像；基于所述智能交互任务以及所述至少一个可操作页面元素生成提示语；将所述提示语以及所述参考图像输入多模态大模型，由所述多模态大模型输出下一步的操作；以及调用系统调试工具执行所述操作，并返回所述获取用户交互界面的第一截图的步骤。本公开还提供了智能交互应用部署方法以及相关装置。