一种基于Spark与FPGA的异构计算聚类加速方法及系统

本发明公开了一种基于Spark与FPGA的异构计算聚类加速方法及系统，属于大数据处理技术领域，该方法包括：基于Spark和FPGA设计并行异构聚类加速框架；其中，该并行异构聚类加速框架以主从结构部署，包括一个主节点和多个从节点；其中，主节点承担整个框架的管理任务，包括与各从节点的通信、作业的生成、分配以及调度；每个从节点分别与至少一个FPGA板卡相连接，在接收任务后将相应任务的计算过程交由FPGA运行，且每个子节点都配备了Spark Streaming；利用该并行异构聚类加速框架运行预设的聚类算法，实现计算加速。本发明可提高大规模数据集处理时的计算效率和实时性，提升硬件资源的利用效率。