一种面向大模型生成内容信息安全强化的系统及方法

AITNT
正文
推荐专利
一种面向大模型生成内容信息安全强化的系统及方法
申请号:CN202411614584
申请日期:2024-11-13
公开号:CN119558403A
公开日期:2025-03-04
类型:发明专利
摘要
本发明公开了一种面向大模型生成内容信息安全强化的系统及方法,首先对大模型进行双向的LoRA微调技术和知识蒸馏技术,从幻觉和事实两个维度让大模型适应事实性输出任务;对微调后的大模型进行中间层表征在事实空间中的抽取,通过对比学习方法得到细粒度的幻觉种类到事实方向的不同映射;最后用于大模型的推理生成过程中,抽取大模型中间层的表示以判断潜在的幻觉类型,然后将学习到的不同幻觉对应的映射应用到推理过程的中间表示中,修正事实性表述,降低幻觉输出的概率,在预训练阶段和推理生成阶段,均对大模型进行了参数和生成内容的控制,在保障了大模型的具身生成能力的同时,极大程度的提高了大模型生成内容的事实性和可靠性。
技术关键词
编辑 样本 知识蒸馏技术 细粒度分类 数据 模块 微调技术 答案 关键词 中间层 学习方法 聚类算法 语义 参数 编码器 阶段 基础 关系
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号