基于深度学习的界面元素定位方法、装置、设备及介质

本申请实施例提供一种基于深度学习的界面元素定位方法、装置、设备及介质，涉及计算机视觉技术领域。该方法包括：通过将获取到的待检测的界面图像输入预设的分割模型中，分析得到待检测的界面图像中元素的类别和定位信息。其中，预设的语义分割模型是通过对第一UNet卷积神经网络模型和第二UNet卷积神经网络模型训练，得到的对界面图像进行特征提取确定类别和定位的模型，第一UNet卷积神经网络模型用于对界面图像进行全局特征提取，第二UNet卷积神经网络模型用于对界面图像进行局部特征提取。通过上述方法，能够在现代高交互、高自定义用户界面的自动化测试中，实现更精准的元素定位，提升了界面分析的自动化程度和可靠性。