改进Transformer模型、文本翻译方法和系统

本发明公开了一种改进Transformer模型、文本翻译方法和系统，该方法包含：对Multi30k机器翻译数据集进行解析，划分训练集、验证集、测试集。分别对英文文本和德文文本进行分词处理与词频统计；根据词频对分词按照索引进行编码从而构建词表；将原本的字符文本按照词表映射成数型编码；构建改进Transformer模型，改进Transformer模型包含自适应长短头注意力机制模块，自适应长短头注意力机制模块对输入向量的维度进行不等份划分；对改进Transformer模型进行训练；通过改进Transformer模型进行。本发明的改进Transformer模型、文本翻译方法和系统，将Transformer模型中的多头注意力机制模块替换成自适应长短头注意力机制模块，赋予多个注意力头不同长短的维度，使模型提取不同长短维度之间的特征信息。