摘要
本发明公开一种数据仓库中SQL执行效率优化方法,涉及数据库管理与数据处理技术领域;包括:基于数据库协议,根据规则配置,识别数据源,进行数据源适配,依次进行SQL语法解析、SQL路由识别和SQL重写,形成执行计划,将执行计划缓存起来,用于重复执行和调用,写操作时将数据映射到多个数据存储分区,避免写时数据倾斜;读操作时,利用数据扫描算法自动适配数据源,重写分片查询,减少空扫描;将执行计划提交给SQL执行引擎,由执行引擎进行标准语法执行和复杂语法分析,并生成二级执行计划,如果进行写操作,则进行热数据的分区存储并由执行计划定时进行冷数据归档;如果进行读操作,则进行分区剪枝优化,通过SQL执行引擎进行数据合并装配:对返回的数据进行归并处理,如果是读操作则动态分析执行计划并调整索引数据的内存分布,缓存高频数据;如果是写操作则对数据进行压缩存储,并对索引进行调整。
技术关键词
效率优化方法
效率优化装置
计划
分区
数据归档
数据存储
全文索引
索引方式
SQL语法
扫描算法
存储设备
离线
分片
文本
数据处理技术
模块
关键词
在线