基于RoBERTa-wwm-ext-large预训练模型的中文语义匹配方法

本发明公开了一种基于RoBERTa‑wwm‑ext‑large预训练模型的中文语义匹配方法，所述方法通过预训练模型RoBERTa‑wwm‑ext‑large获取匹配文本的初始向量表示，利用特征注意力加强两个文本向量之间的语义交互；接着将文本向量送入卷积神经网络提取更多特征信息后，再输出到长短期记忆网络这些特征信息的时间序列依赖性，通过自注意力丰富文本向量的上下文信息；建立微调表示模型去处理初始文本连接向量，获得微调过的文本对连接向量。最后将这些文本向量输入到多层感知机网络，计算文本匹配结果。与现有的基于预训练模型的文本匹配算法比较，本发明具有较高的准确度和较好的泛化性。