基于语义嵌入和结构熵检测的幻觉检测方法及其装置

本申请提出了基于语义嵌入和结构熵检测的幻觉检测方法及其装置；其方法包括：针对输入问题，利用训练好的语言模型生成多个可能的答案集合；使用预训练的句子嵌入模型将每个答案转换为向量，计算它们之间的余弦相似度，从而构建相似性图；通过编码树对相似性图进行表示，计算每个节点的结构熵，以识别语义不确定性较高的节点；采用滑动平均法动态调整阈值，确保高熵输出得以及时标记为幻觉；将被标记为幻觉的答案剔除，确保输出的答案准确性和信息一致性。本发明有效提升了模型在复杂问题上的表现，减少了误导性信息的生成。初步实验表明，该方法在多个数据集上显著降低了幻觉输出的比例，增强了生成答案的语义一致性和准确性。