摘要
基于TEE的大数据分层加密过滤机制和查询优化方法、系统、设备及介质,其方法为:首先,在Parquet数据写入磁盘过程中,通过自定义Spark数据源接口,在TEE中对数据进行分层加密处理并生成多级元数据索引;然后基于数据分层加密处理及生成的多级元数据索引,进行数据查询,在查询执行过程中,Spark查询引擎首先接收用户的SQL查询请求,并将查询条件中的明文谓词解析为密文谓词;接着,查询执行流程进入分层加密过滤阶段,依次执行分区级、文件级、行组级和列级的筛选操作,以减少TEE内部的密文解密计算量;其系统、设备及介质基于所述的TEE的大数据分层加密过滤机制和查询优化方法,实现大数据分层加密过滤机制和查询优化;本发明避免了传统TEE方案因全盘解密导致的EPC内存压力,使得Parquet数据查询能够在较低的内存占用情况下高效执行,最终实现隐私保护与查询优化的平衡。
技术关键词
布隆过滤器
查询优化方法
分区
分层
明文
索引
解密
计数器
阶段
混合加密机制
保序加密算法
查询优化系统
写入磁盘
节点
过滤模块
加密数据
密文环境