一种基于近数据处理的分布式推荐方法及系统

本发明提出了一种基于近数据处理的分布式推荐方法及系统，该推荐系统通过利用内存解耦技术和Compute Express Link (CXL)的内存扩展能力，提出了一种近内存处理（NMP）架构，以实现可扩展和高效的推荐模型训练；ReCXL的设计包括一个统一的、硬件高效的NMP架构，它能够在CXL内存内部执行整个嵌入层的训练，完成前向传播与反向传播过程，最小化了通过带宽受限的CXL传输的数据量，并提高了内部内存带宽的利用。此外，ReCXL的设计利用了对内存资源的灵活管理，以及对推荐系统（DLRM）训练过程中带宽瓶颈的优化。通过在CXL内存池中实现近内存处理，ReCXL提升了训练效率。ReCXL还整合了软硬件共同优化技术，包括无依赖预取和细粒度更新调度，以最大化硬件的利用率并进一步提升性能。