一种基于大语言模型的轨道交通知识库构建方法及系统

AITNT
正文
推荐专利
一种基于大语言模型的轨道交通知识库构建方法及系统
申请号:CN202410943012
申请日期:2024-07-15
公开号:CN118733740B
公开日期:2025-05-13
类型:发明专利
摘要
本发明公开一种基于大语言模型的轨道交通知识库构建方法及系统,该方法包括:获取轨道交通领域的文本数据,通过文本提取工具将不同格式的所述文本数据转换为纯文本文件,去除所述纯文本文件中的无关格式标记、页眉页脚、图表和/或图像,并对所述纯文本文件进行分词和词性标注,生成多个文本块;提取关键词,设置过滤阈值排除位置权重低于过滤阈值的关键词,并按位置权重对剩余关键词进行排序,生成关键词列表,将关键词列表向量化,并构建倒排索引,关联关键词向量与文本块ID,并生成知识库;提取用户Query的关键词,将用户Query的关键词转换为向量表示,计算用户Query的关键词的向量与知识库中关键词向量之间的相似度,定位最相关的文本块ID。
技术关键词
知识库构建方法 大语言模型 文本 因子 构建系统 生成关键词 分词 格式 深度神经网络 词频统计 列表 图表 哈希算法 数据 唯一性 标记 图像 索引 意图
系统为您推荐了相关专利信息
1
文本生成方法、装置、电子设备、存储介质及程序产品
文本生成模型 答案 样本 文本生成方法 模块
2
智能体的生成方法以及数据处理方法、装置、设备和介质
页面 元素 生成方法 大语言模型 数据处理方法
3
难负样本挖掘、多模态重排序器训练方法及装置
样本 多模态 挖掘算法 大语言模型 阶段
4
服务器配置数据处理方法、电子设备、存储介质及程序产品
配置数据处理方法 非结构化文本 历史性能数据 服务器集群配置 社区发现算法
5
文本生成的方法、装置、电子设备及可读存储介质
文本 生成提示词 大语言模型 意图识别模型 语义
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号