一种预训练大模型构建方法及其装置

本申请公开了一种预训练大模型构建方法及其装置，涉及因果推断领域，所述预训练大模型构建方法包括：构建第一因果干预模块、第二因果干预模块和第三因果干预模块；第一因果干预模块根据无混杂情况的因果图构建；第二因果干预模块根据后门调整情况的因果图构建；第三因果干预模块根据前门调整情况的因果图构建的；根据三个因果干预模块构建多个因果层，然后将所有因果层进行加权连接得到任务模型；每个因果层包括加权连接的三个因果干预模块；对任务模型进行训练得到三个因果干预模块的权重以及每个因果层的权重；根据任务模型、三个因果干预模块的权重以及每个因果层的权重得到预训练大模型，本申请可满足从多样的因果图中去除混杂的要求。