基于蒸馏学习的学生模型优化方法、设备及可读存储介质

本申请公开了基于蒸馏学习的学生模型优化方法、设备及可读存储介质，该方法包括：根据学生模型的各第一编码模块中每一注意力层的查询向量、键向量和值向量中的至少一个确定各第一编码模块的第一向量关系值和/或任两第一编码模块之间的第二向量关系值；根据教师模型的各第二编码模块中每一注意力层的查询向量、键向量和值向量中的至少一个确定各第二编码模块的第三向量关系值和/或任两第二编码模块之间的第四向量关系值；根据第一向量关系值和第三向量关系值之间的第一关系差异和/或根据第二向量关系值和第四向量关系值之间的第二关系差异确定学生模型的目标损失值，并根据目标损失值优化学生模型。由此可以提高学生模型的性能。