一种电脑横机花型自动识别与选针控制方法

本发明涉及针织机械控制领域，它涉及一种电脑横机花型自动识别与选针控制方法，接收用户输入的数据，分别提取视觉特征向量、文本的语义特征向量和手势轨迹的运动特征向量，利用跨模态Transformer架构处理提取的特征向量，构建针织结构图G，采用GraphSAGE算法对针织结构图G中的节点进行信息传播与聚合，通过分类头输出各节点对应的针织结构类型，基于识别出的针织结构类型生成初始选针动作序列；定义针织控制中间语言KnittingIR的形式化语法规则，根据目标电脑横机将KnittingIR格式的指令翻译为横机的控制指令；输出控制指令至电脑横机控制系统用于执行编织操作，本发明适解决当前图像识别方式单一、结构识别精度低、选针逻辑依赖人工、控制指令不兼容等问题。