基于Apache Spark的石化数据大模型分析管理方法

本发明公开了基于Apache Spark的石化数据大模型分析管理方法，涉及数据管理技术领域，通过欧式距离算法计算每个特征数据点与初始聚类中心的欧式距离，基于欧式距离远近生成多个聚类中心，当生成的聚类中心数量等于最优聚类数量时，完成聚类中心的选择步骤，在聚类簇初始划分完成后，Spark的迭代计算功能用于不断更新聚类簇的聚类中心；这一过程继续，直到聚类中心的变动稳定，此时使用Spark输出最终的聚类结果；所有聚类簇的聚类中心不再发生变化后，输出聚类结果；该管理系统不需要预先标记的训练数据，更加灵活和适用于石化行业中未标记数据的分析和管理，有效提高管理系统适应性以及对数据的处理效率。