基于大语言模型的智能终端抗干扰多模协同推断方法

本发明提出了一种基于大语言模型的智能终端抗干扰多模协同推断方法及装置，其中该方法包括：获取当前时隙的多模态感知数据和环境数据，以构建多维向量作为索引查询预先构建的效益矩阵和风险矩阵；根据查询到的效益向量和风险向量计算预先构建的策略矩阵中每个策略对应的综合评分，以得到当前时隙的剪枝稀疏率和量化精度以及传输信道和发射功率；在传输信道上以发射功率将推断任务卸载到边缘设备，以便边缘设备运行剪枝稀疏率和量化精度对应的大语言模型处理卸载的推断任务，以生成推断结果；根据推断结果计算当前策略的效益值和风险值，并更新效益矩阵和风险矩阵；以此类推，直至满足收敛条件后得到最终的推断结果；从而提升大语言模型的推断精度和速度。