语言模型并行推理方法及系统

AITNT
正文
推荐专利
语言模型并行推理方法及系统
申请号:CN202411580652
申请日期:2024-11-07
公开号:CN119089901B
公开日期:2025-03-21
类型:发明专利
摘要
本发明涉及自然语言处理技术领域,尤其涉及语言模型并行推理方法及系统,获取并标准化处理语言数据,生成特征数据;在边缘计算节点进行特征提取和初步推理,生成初步推理结果数据;将初步推理结果数据划分为自适应数据组,并进行高效并行计算,生成并行计算结果数据;将并行计算结果数据转化为图表示数据,利用自适应图神经网络进行训练和推理,生成最终推理结果;通过高效异步传输协议和流控机制优化数据传输性能,并应用高级任务调度算法确保各计算节点的高效运行。通过本发明,实现了高效的数据传输、资源利用率最大化、负载均衡和数据依赖性处理,显著提高了语言模型的计算效率和推理准确性。
技术关键词
并行推理方法 高效并行计算 任务调度算法 神经网络模型 复杂度 特征提取算法 生成特征 节点 分布式训练 资源利用率最大化 多级缓存机制 故障恢复机制 并行计算框架 任务分配策略 动态 数据传输延迟 分词 协议 数据处理模块
系统为您推荐了相关专利信息
1
一种基于多源经济数据挖掘的可视化展示方法
可视化展示方法 电商 交互式可视化 关系网络 交互式控件
2
一种锂电池SOC估计方法、装置、设备、介质及产品
SOC估计方法 锂电池 SOC估计装置 放电特征 神经网络训练方法
3
一种基于终端协同的交通安全预警方法及系统
交通安全预警方法 路段 车辆 因子 车道
4
基于双目摄像头的测距方法、装置、存储介质及电子设备
双目摄像头 测距方法 深度图 神经网络模型 图像
5
融合机器学习的极端制造过程工艺参数优化方法及系统
融合机器学习 预训练模型 工艺参数优化方法 生成控制指令 执行器
添加客服微信openai178,进AITNT官方交流群
驱动智慧未来:提供一站式AI转型解决方案
沪ICP备2023015588号