文博用触摸互动终端的图像识别与动作追踪系统优化方法

本发明涉及图像识别技术领域，具体为文博用触摸互动终端的图像识别与动作追踪系统优化方法。首先，获取多模态图像，提取多模态图像特征得到第一图像，然后，基于局部质量评估的权重加权第一图像得到第二图像。利用特征金字塔融合第二图像特征并进行解码得到第三图像，将第三图像输入到分割头和关键点检测头中得到分割图与关键点坐标。接下来，计算关键点变化得到第一序列。加权融合第三图像与第一序列，经多头LSTM分析得到第一向量、第二向量与姿态标签。最后，基于第一向量、第二向量与姿态标签，经多特征匹配机制选择最优背景。本发明方法显著提升背景匹配精度与交互沉浸感。