基于深度强化学习的波束成形与功率分配联合优化方法及系统

本发明属于通信技术领域，公开了一种基于深度强化学习的波束成形与功率分配联合优化方法，本发明对太赫兹UM‑MIMO‑ISCAP系统采用混合球面波和平面波建模方法进行信道建模，并将能量收集（Energy Harvest,EH）接收器置于近场，信息解码（Information Decode,ID）接收器置于远场，平衡了信道建模的精度和开销。其次，针对非完美CSI导致求解联合优化问题不佳的情况，提出采用基于DNN的CSI估计算法，估计并提取AoD/AoA，获得CSI。最后，为解决MADDQN在高维空间中的探索能力有限，可能陷入局部最优解的问题，提出了一种基于PSO‑MADDQN算法用于提高算法的全局收敛性和搜索效率。此外，为了进一步提升算法的收敛性，利用二阶时间差分方法和二叉树结构实现了历史信息利用率的提高同时降低了计算开销。