一种数据采集方法及半封闭网络数据采集系统

本申请提供一种数据采集方法及半封闭网络数据采集系统，服务端通过发送包含结构化数据源定义、非结构化文件路径及动态分片阈值的SM2加密指令，驱动客户端执行混合数据采集；客户端将结构化数据转换为ORC列式格式、非结构化文件按阈值分片后，采用SM4加密内存处理生成密文分片，并附加SM3摘要及SM2数字签名形成加密数据包回传；服务端通过公钥解密SM2数字签名核验客户端身份合法性，并重新计算解密后分片的SM3摘要进行完整性校验，最终按分片编号重组ORC数据并解密存储。该方法通过端到端数据安全防护，结合ORC列式存储的动态分片机制，在保证数据完整性的同时，提升了传输效率，且支持结构化与非结构化数据的统一高效处理。