摘要
本发明提供一种小规模数据主题发现方法,属于自然语言处理领域,该方法包括获取训练模型所需的词对集、构建图模型、参数估计以及主题推断;对文本预处理后,将窗口内的文本数据建模为词对集,以词对为语义单元进行主题发现;构建方法的图模型;随后利用改进的吉布斯采样方法推断出文档数据的主题词分布和主题词分布,从而进一步发现文档数据中的小规模数据主题;本发明利用混合词对建模文本数据,约束术语关联,扩大上下文信息,为小规模数据主题提供更多有效信息,可以缓解数据量稀缺导致的数据依赖问题,在大规模数据集中提取出紧密相关的小规模数据主题。
技术关键词
主题发现方法
小规模
数据
采样方法
文本
词语
自然语言
术语
语义
参数
频率