一种基于Spark平台的分布式推荐方法

本发明属于推荐系统领域，公开了一种基于Spark平台的分布式推荐方法，包括：结合因子分解机和随机梯度下降构建FM预测模型，所述FM预测模型以包括用户、物品和上下文信息的特征矩阵为输入，输出预测用户行为；配置Spark平台环境并加载原始数据，对原始数据进行预处理获得数据集；Spark平台初始化FM预测模型并根据任务类型进行训练，训练过程中Spark平台进行并行梯度计算并聚合梯度以更新参数；将训练好的FM预测模型部署到实际生产环境中，进行不同任务类型的实时预测，实现推荐。本发明结合Spark的分布式计算能力、内存计算、弹性容错和数据本地性等特性，以及SGD的计算效率高、内存占用低和收敛速度快的优点，可高效处理大规模高维度的稀疏数据集。