一种基于大数据的数据挖掘方法及系统

本发明涉及信息检索技术领域，公开了一种基于大数据的数据挖掘方法及系统。其中，方法包括：通过分布式计算框架采集多源异构数据并存储至HDFS文件存储中；构建特征矩阵；采用基于Spark的聚类算法对降维后的数据进行聚类分析；通过UniApp平台进行可视化展示；相较于现有技术中常见的数据分析方法，尤其在面对大规模、多样化的教育数据如学生的学习行为、课程反馈等时，传统技术难以高效且精准地处理此类异构数据，从而无法准确发现学生群体的学习模式与需求的技术问题，由于本申请通过引入分布式计算框架、聚类算法，提高了大规模数据处理的效率与准确性，提高了数据挖掘的质量与价值，为教育决策提供数据支撑。