自然语言处理任务执行方法、装置、设备、系统、介质

本发明公开了一种自然语言处理任务执行方法、装置、设备、系统、介质，应用于人工智能技术领域。方法包括为自然语言模型各注意力头设置标识其是否被保留的掩码参数。基于自然语言模型的各注意力头对应一个待训练辅助参数，生成头选择标记网络，利用自然语言训练样本数据集训练自然语言模型的过程中，同时训练头选择标记网络，基于训练好的头选择标记网络确定各注意力头的掩码参数；基于各掩码参数确定自然语言模型相对应的注意力头是被保留还是被删减，并利用删减后的自然语言模型执行自然语言处理任务。本发明可以解决相关技术影响模型性能且需要额外硬件支持的问题，无需额外硬件支持便可部署在计算资源能力有限的硬件上执行自然语言处理任务。