控件定位模型训练方法、控件定位及触发方法、装置

本申请实施例涉及一种控件定位模型训练方法、控件定位及触发方法、装置，上述训练方法包括：获取样本图文对和标注位置信息；利用初始控件定位模型包括的图像特征提取网络和文本特征提取网络，对样本图文对进行图像特征提取和文本特征提取，得到样本图像特征和样本文本特征；利用注意力特征提取网络，对样本图像特征和样本文本特征进行注意力特征提取，得到注意力特征；利用控件位置预测网络，对注意力特征进行控件位置预测，得到表示控件位置的预测位置信息；确定预测位置信息和标注位置信息之间的误差，训练得到控件定位模型。本申请实施例提高了模型对界面图像和文本的匹配精度，从而提高了图文匹配的场景适应性。