一种UI自动测试的方法、系统及产品

本申请实施例提供一种UI自动测试的方法、系统及产品，该方法包括：特征提取网络分别对车机界面、起始滑动框和待测的目标区域进行特征提取，获得并连接车机界面特征、滑动框特征和目标区域特征，得到连接特征；将连接特征输入至第一强化学习模型进行处理，获得目标区域在车机界面中的位置信息；将当前机械臂环境状态输入至第二强化学习模型进行处理，获得机械臂末端触笔运动至目标区域的最佳运动轨迹，当前机械臂环境状态包括目标区域在车机界面中的位置信息；基于最佳运动轨迹，控制机械臂的末端触笔运动至目标区域进行自动测试。旨在降低目标区域识别定位的时间复杂度和提升识别效果，从而提升自动化测试的效率和效果。