摘要
本申请公开了一种中文医学大语言模型训练方法及装置,涉及自然语言处理技术领域,所述的方法包括:通过医学文本对预设大语言模型进行预学习训练,使得大语言模型在语义层面上理解专业医学知识。根据开源中文医学考试数据集对预训练后的模型进行监督微调训练,从而降低计算复杂度和内存需求,这使得在保持模型性能的同时,能够在有限的计算资源下进行高效的微调。最后根据构建的知识图谱和强化学习数据集进行知识反馈的强化学习,有助于解决监督微调后由于模型过度拟合而出现的“幻觉”现象,从而将大语言模型的输出与相关的专业医学知识进行充分对齐,提高大语言模型在医学领域回答的准确度。
技术关键词
大语言模型
医学
三元组
构建知识图谱
文本
数据
计算机程序产品
训练装置
命名实体识别
信号
生成知识
语义层面
矩阵
专业
训练设备
处理器
自然语言
模块
系统为您推荐了相关专利信息
模态特征
疾病
多模态融合方法
特征提取模型
对象
空调变频器
性能优化方法
文本识别模型
接收变频器
编辑界面
偏好推荐方法
多模态数据融合
图像特征向量
日志记录系统
语义分析算法