摘要
本申请提供了一种基于大模型的数据截断方法及相关装置。具体地,本申请可分别确定待截断数据中每个数据节点的嵌套深度、节点路径和节点值,并采用语义分析模型分别评估每个节点路径的语义重要性,且基于节点路径的语义重要性和数据节点的嵌套深度,综合判断是否需要对数据节点执行数据截断操作。如此,可结合数据节点的层级关系、嵌套结构和路径字段的语义重要性,识别待截断数据中的关键信息与非关键信息,并据此进行数据截断,从而可在保留数据关键信息的情况下降低数据量,进而可提高截断数据的数据质量。
技术关键词
节点
数据截断方法
语义分析模型
计算机可读指令
基准
规模
复杂度
数据压缩算法
字段
摘要
截断装置
数据获取模块
嵌套结构
处理器
计算机设备
分析模块
存储器