语言模型构建方法、装置、设备及介质

本发明涉及计算机技术领域，公开了一种语言模型构建方法、装置、设备及介质，该方法包括：获取第一图像文本对集合；将第一图像文本对集合输入至预构建的语言模型中进行迭代训练，其中，语言模型包括文本提取器和自注意力机制神经网络子模型；在语言模型中，通过文本提取器提取第一图像文本对集合中第一图像文本对包括的图像特征和多个词向量，其中，第一图像文本对为第一图像文本对集合中的任一个图像文本对；利用图像特征和/或多个词向量对自注意力机制神经网络子模型进行迭代训练，直至自注意力机制神经网络子模型达到迭代停止条件时，停止对语言模型的训练，获取构建好的语言模型。