摘要
本发明提出了基于稀疏注意力的大模型底层数据处理方法及系统,涉及数据处理技术领域,获取待处理需求数据,根据所述待处理需求数据设置任务特征编码,进行特征有用和无用的分析,获取优先级系数,进行优先级评分,生成动态稀疏掩码;根据动态稀疏掩码的密度信息对所述长文本进行多层级窗口划分,获得多层级局部窗口及其窗口稀疏掩码,对每个局部窗口进行注意力分析,获取窗口关键节点,建立多窗口关键节点连接网络;获取待处理需求数据的更新数据,根据所述更新数据获取更新稀疏编码,与动态稀疏掩码,本发明实现对底层数据处理的高效高精度灵活分析处理。
技术关键词
注意力
数据处理方法
节点
多窗口
编码
动态
文本
层级
低阈值
密度
网络
高效高精度
语义主题
数值
数据处理系统
数据处理技术
矩阵
数据更新
分析模块