基于动态代码生成的数据处理方法及装置

首页 AI资讯 AI技术研报 AI监管政策 AI产品测评 AI商业项目 arena全球大模型排行榜 AI产品热榜 AI 源力市场 AI新闻日报

正文
推荐专利
基于动态代码生成的数据处理方法及装置
申请号:CN202511149646
申请日期:2025-08-18
公开号:CN120653258A
公开日期:2025-09-16
类型:发明专利
摘要
本申请提供一种基于动态代码生成的数据处理方法及装置,涉及数据处理技术领域。基于动态代码生成的数据处理方法包括:对跨源的数据处理请求进行解析,以确定数据的类型信息和数据处理语法;根据类型信息和数据处理语法,生成数据处理物理计划;将数据处理物理计划对应的内置算子替换为预定义操作算子;根据预定义操作算子生成对应的第一格式代码,以基于第一格式代码执行数据处理请求,并确定数据处理结果。本申请在涉及大规模数据和高并发场景下,将联邦数据计算逻辑动态生成为高效的C++代码,并下沉至本地执行,绕过了JVM的性能瓶颈,同时充分利用Spark在分布式计算、任务调度和资源管理方面的优势,大幅提升了数据处理效率。
技术关键词
分布式计算框架 计划 数据处理方法 格式 非瞬时性计算机可读存储介质 逻辑 物理 计算机可读指令 动态 处理器 数据处理装置 数据处理技术 任务调度 模块 算法 电子设备 基础 集群 参数
添加客服微信AITNT178,进AITNT官方交流群
沪ICP备2023015588号