一种基于计算机视觉的智能钢琴教学投影装置和方法

本发明公开了一种基于计算机视觉的智能钢琴教学投影装置和方法，装置包括数据采集与投影模块、标定模块、数据处理模块、侧投影模块和辅助模块；基于该装置实现的智能钢琴教学投影方法包括利用Mask2former图像分割模型对数据采集与投影模块采集的演奏者在钢琴琴键区域的俯视图像进行分割；利用手指骨架建模算法构建演奏者的手指骨架，判断演奏者当前时刻弹奏是否正确，若弹奏错误，则数据采集与投影模块的光投影位置保持不变，提示演奏者重新按下琴键，若弹奏正确，则通过投影提示下一时刻需要按下的琴键和踩下的踏板，为演奏者提供指导。本发明不需要对钢琴进行改造，仅将装置固定到钢琴上，即可通过投影实现钢琴指导。