一种基于联邦学习的电力营销短文本分级方法及系统

本发明涉及电力文本分级技术领域，特别涉及一种基于联邦学习的电力营销短文本分级方法及系统。本发明在ERNIE文本分级模型的基础上，针对短文本数据的特点，提出了基于联邦学习框架的ERNIE自然语言分级模型，并在该模型的下游网络中创新性地引入了动态多头稀疏注意力机制。该机制通过动态调整多头注意力权重并引入稀疏化策略，有效提升了模型对短文本数据的分级能力，使其在处理复杂多变的短文本时，能够更精准地捕捉关键信息，从而增强文本分级的准确性和鲁棒性。同时，该模型构建了一个多中心数据联合训练机制，通过分布式协作训练的方式，避免了原始数据的直接共享。