针对目标场景的大模型预训练方法、装置、设备及介质

本申请涉及大模型预训练技术领域，具体提供一种针对目标场景的大模型预训练方法、装置、设备及介质，旨在解决大模型预训练方法无法较好地满足特定场景需求的技术问题。为此目的，本申请获取通用训练数据以及目标场景训练数据，基于通用训练数据对大模型进行监督训练，学习通用特征；基于目标场景训练数据对监督训练后的大模型进行自监督训练，提高模型在目标场景下的偏向性；基于目标场景训练数据对自监督训练后的大模型进行弱监督训练，进一步提高大模型在目标场景下的语义能力。本申请解决了现有大模型预训练方法无法较好地满足特定场景需求的问题，通过结合多种训练方法，充分利用了不同方法的优势，达到了相互补充、相互促进的作用。