Triton算子调用核函数的方法、装置和电子设备

本发明公开了Triton算子调用核函数的方法、装置和电子设备，涉及人工智能技术领域。该方法包括：构建Triton算子的运行时结构，若核函数首次调用且为单核心，则通过JITFunction来编译核函数，若核函数首次调用且为多核心，则整体调整得到全局性能最佳的编译参数，若核函数非首次调用，则通过LibEntry中的映射表获取核函数，所述映射表中写有编译参数和对应的核函数或最佳的编译参数和对应的核函数。实践表明，本发明提供的方案可在小规模的函数调用中，将端到端的时间开销降低约70%。而且，通过全局调优的方式扩大了多核心算子的参数调优空间，提升了配置参数的自由度，提高了归约类算子的计算效率。