一种基于人-物动作相关性挖掘的细粒度HOI检测方法与系统

本发明涉及人‑物交互行为检测识别技术领域，特别是涉及一种基于人‑物动作相关性挖掘的细粒度HOI检测方法与系统，本本发明通过提取图像特征并将所提取的图像特征和位置编码Pos一同送入解码器；通过人‑物解码器输出人检测框、物体类别、物体检测框以及人‑物对交互性得分，交互行为解码器输出具体的交互行为类别，并利用模型输出的人‑物对交互性得分和交互行为类别挖掘HOI类之间的相关关系，以发现易错分的HOI类；然后，基于HOI类之间的相关关系设计了自适应损失函数，以指导模型更多地关注易错分的HOI类，最终计算出交互性得分最高的人物交互对，从而有助于在不增加模型复杂度的前提下，尽可能地提高细粒度HOIs类的识别能力。