药盒盲文凸点字符的多模态触觉视觉融合识别方法

本发明公开一种药盒盲文凸点字符的多模态触觉视觉融合识别方法。方法步骤：通过触觉传感器采集盲文凸点三维形貌与压力数据，视觉传感器获取图像等并预处理(改进U‑Net分割、光照校正等)；利用硬件触发同步、改进ICP算法完成时空对齐，经特征级(注意力机制)与决策级(D‑S证据理论)融合；借助多模态神经网络解析字符语义，通过语音、触觉振动、AR可视化多通道反馈。设置动态优化机制，涵盖传感器调度、增量学习、安全验证。系统包含触觉/视觉感知模块、数据处理模块(FPGA+NPU)、反馈执行模块及通信模块。该方案解决传统识别精度低、环境适应性差问题，实现药盒盲文高精度识别，为视障人士安全用药提供多场景适用的可靠方案。