基于人机协同的多模态交互系统及方法

本申请提出一种基于人机协同的多模态交互系统、训练方法、装置、设备及介质，采用训练好的深度强化学习模型，融合超声图像、触觉力以及视觉图像特征，并利用PPO算法对融合特征进行处理，得到对应的控制指令数据，来控制机械臂携带超声探头动作，实现对软性、可移动、未标记的作用目标完全自主超声成像，在保证稳健性的同时，灵活性得到了提升。