一种生物医学文本预训练生成方法

本发明公开了一种生物医学文本预训练生成方法，其包括以下步骤：将输入的生物医学文本句子分成更小的片段或词块，再通过标记嵌入、片段嵌入和位置嵌入进行处理得到预处理文本；将预处理文本经过自注意力机制生成文本嵌入向量；采用聚类算法对文本嵌入向量进行聚类，最终将所有嵌入向量分成个聚类，每个聚类由一个质心表示；在每个聚类中选择离中心最近的m个向量，按照在文档中出现的顺序排列；将选中的上下文嵌入向量由BertSum进行编码，并通过六层Random Transformer进行解码，将抽取摘要转化为生成摘要。本发明确保了提取的文本与源文本之间更高的语义相似度，强调候选摘要与原始文档之间的整体语义一致性。