一种用于能源电力数据安全领域的小规模长文本中文生成式对话模型

本发明公开了一种用于能源电力数据安全领域的小规模长文本中文生成式对话模型，包括自定义Tokenizer模块、嵌入层、多层轻量化Transformer块和输出层；所述自定义Tokenizer模块用于将输入语句生成词汇表，并对词汇进行编码形成Token序列；在嵌入层，将所述Token序列映射成嵌入向量，并输入到多层轻量化Transformer块，获取每个Token的语义和上下文关系的加权向量，输入到输出层，输出层生成最终文本输出。能够在低显存设备上完成长文本中文生成式对话模型的训练和推理。与现有技术相比，本发明不仅降低了硬件要求，还提升了中文对话生成任务的效率和适用性。