一种动态轮廓注意力驱动的跨模态融合方法及系统

本发明提供了一种动态轮廓注意力驱动的跨模态融合方法及系统，所述方法包括：从三维点云数据中分割生成一组携带纯三维几何属性的零件节点；通过将零件节点精确投影至二维图像，形成与其轮廓紧密贴合的动态不规则感兴趣区域；采用可变形注意力机制，在所述感兴趣区域内自适应地确定信息量最丰富的若干采样点，并对采样点的视觉特征进行加权池化，得到代表性的语义特征向量，完成对所述零件节点的跨模态属性化；基于已完成属性化的零件节点集合构建动态无向属性图，并通过图神经网络进行关系推理与实例聚合，输出最终的感知结果。本发明有效降低了信息损失与传感器标定敏感度，显著提升了系统在遮挡等复杂场景下的鲁棒性、可解释性及计算效率。