一种基于安全约束的深度强化学习机器人辅助超声扫描系统及方法

一种基于安全约束的深度强化学习机器人辅助超声扫描系统及方法摘要：本发明公开了一种基于安全约束的深度强化学习机械臂超声扫描方法及系统。构建含机械臂、超声探头、关节力矩与视觉传感器及控制单元的扫描系统。环境状态空间涵盖机械臂关节角度、末端位姿、接触力、扫描路径及安全状态变量，动作空间为机械臂末端线速度指令。基于近端策略优化(PPO)算法搭建深度强化学习模型，设计包含图像质量、任务完成度奖励及多种惩罚项的奖励函数。利用控制障碍函数(CBFs)对机械臂运动实施安全约束，通过惩罚函数法将安全约束融入深度强化学习训练。在模拟实际扫描场景的仿真环境中训练模型，而后部署至实际系统，依据实时环境状态控制机械臂扫描并监测安全约束。本发明实现了机械臂在满足安全约束下高效执行超声扫描任务，为超声扫描自动化提供了可靠方案。同时，系统具备数据采集、状态构建、奖励计算、安全约束及控制等模块，还可通过仿真训练提升模型性能。