摘要
本发明公开了一种气象语料库构建方法、系统及相关装置,属于气象数据处理技术领域。该方法包括:收集气象领域的原始语料文件,将原始语料文件转换成统一的markdown格式数据;对所述markdown格式数据进行清洗,并组织成统一结构化的气象语料库;将所述统一结构化的气象语料库结合外部知识库构建气象服务大模型所需要的各类数据集,各类数据集包括用于预训练的数据集、微调的数据集以及检索增强生成所需的数据集和评估基准数据集。该方法显著提高了构建效率,降低了人工成本,同时也确保了气象语料库的质量和一致性。
技术关键词
语料库构建方法
面向气象服务
启发式规则
格式
气象数据处理技术
语料库构建系统
数据分析模块
指示计算机执行
分布式计算框架
计算机程序产品
构建知识图谱
可视化方法
基准
可读存储介质
大语言模型
组织
分类器
系统为您推荐了相关专利信息
需求预测方法
旅客
特征提取模块
多维特征向量
空间特征提取
电力系统模型
断路器故障诊断
信息模块
分析方法
负荷预测模型
虚拟磁盘设备
磁盘隔离方法
目录
程序二进制文件
文件系统