基于混合注意力机制的高效安全自然语言处理方法及系统

本发明涉及自然语言处理技术领域，特别涉及一种基于混合注意力机制的高效安全自然语言处理方法及系统，针对Transformer预训练模型和任务数据集，提出了一种基于Softmax Attention和Scaling Attention的混合注意力机制，设计了post‑replaced和pre‑replaced两种选择替换策略；post‑replaced策略是当拥有某数据集在Scaling Attention上的Transformer预训练模型时，通过性能差异率来计算替换率，确定搜索空间，再根据NAS算法快速搜索关键注意力头，将关键注意力头恢复为Softmax Attention；pre‑replaced策略是当仅有某数据集在Softmax Attention上的Transformer预训练模型，按照由大至小设置替换率；而后通过设计在Softmax注意力机制中进行查找保留关键注意力头的快速NAS搜索算法。本发明通过混合注意力机制和注意力机制替换策略实现Transformer模型在安全执行自然语言分析任务时的速度和模型性能的更优平衡。