大模型的数据处理方法、装置、设备及介质

本发明提供一种大模型的数据处理方法、装置、设备及介质，应用于芯片，所述芯片包括PNM、SIP和DMA，所述SIP和所述PNM之间设置有生产者‑消费者模型，且两者动态交替扮演生产者和消费者。本发明通过DMA负责从外部存储器加载数据到共享缓存；在大模型的预填充阶段和生成阶段，计算任务被分配给PNM和SIP两个单元；PNM和SIP之间动态交替扮演生产者和消费者的角色；通过这种协同工作方式，充分利用了芯片的计算资源，提高了处理效率和吞吐量。从而在大模型的端侧应用中，能够有效协调PNM、SIP和DMA之间的协同工作，解决存储带宽和容量问题，提高模型的推理效率和性能。