一种基于公平性注意力机制和语义扩充的短文本主题建模方法

本发明提供一种基于公平性注意力机制和语义扩充的短文本主题建模方法，属于自然语言处理领域。该方法通过构建公平性注意力权重矩阵，动态调整词汇在各主题中的重要性，确保主题间的公平性和多样性。在公平性注意力机制中，通过一致性目标函数优化主题内词汇的语义一致性，并通过多样性约束降低跨主题的重复词汇权重，实现主题质量与多样性的平衡。此外，方法引入语义扩充技术，通过构建相似度矩阵，为每个词构建语义邻居集合，在主题分配概率计算中融入语义邻居信息，丰富主题语义表示。该方法通过公平性注意力机制和语义扩充技术提升了主题的连贯性、多样性和公平性，有效缓解了短文本数据稀疏、语义信息不足的问题。