一种基于掩码自动编码器与噪声增强的模型预训练方法

本发明提供一种基于掩码自动编码器与噪声增强的模型预训练方法，涉及自然语言处理技术领域，该方法包括构建非对称编码‑解码模型，通过差异化的掩码比例和解码机制提升训练信号多样性。接着，引入噪声注入机制，通过向嵌入添加噪声增强模型对抗扰动的鲁棒性，并提出两项改进：一是动态调整噪声幅度，在训练初期使用较大噪声增强鲁棒性，后期减小噪声提升精度；二是在训练后期利用KL散度引导噪声生成，衡量原始嵌入与加噪嵌入的分布差异，使噪声针对模型弱点更智能化。在多个数据集上进行预训练与评估，显著提升零样本和监督学习场景下的密集检索性能。最终，该方法无需额外微调模型，即可提高检索任务中句子表示的准确性和稳定性。