一种批量日志入库的方法

一种批量日志入库的方法，主要步骤包括：将已经完成范式化的日志写入数据桶；将数据桶中日志数据刷新到缓存文件；缓存文件输出到数据库导入文件队列；从队列取出数据文件，执行数据导入。该方法实现了日志数据从接收到入库的执行流程模块化，对不同类型日志数据可以进行不同的资源配置，提高入库效率；数据桶和缓存文件设置“双阈值”机制，提高日志数据入库的实时性；采用tmpfs，改变了传统的日志缓存文件缓存方式，实现了批量日志数据快速生成数据库导入文件；从而有效解决了日志数据缓存效率低、缓存文件管理难、数据库导入数据效率低等问题。