一种流批一体化数据融合方法、系统、终端及存储介质

本发明公开了一种流批一体化数据融合方法、系统、终端及存储介质，所述方法包括：通过消息队列系统接收实时流数据和批量数据；使用内存数据库将接收到的数据进行缓存；根据实时流数据和批量数据分别选择流处理逻辑和批处理逻辑进行处理，利用分布式计算框架和内存计算技术对实时流数据和批量数据进行融合计算，得到数据处理结果；根据数据的实时处理需求动态分配计算资源；根据输出要求，对数据处理结果进行格式化和封装，并将处理后的数据处理结果输出到指定的存储系统或通过API反馈给用户。本发明通过系统化数据接收、缓存、处理和资源动态调度，实现了数据流批一体处理，满足用户对数据处理的实时性、准确性和完整性的要求。