一种细粒度语义感知辅助边界定位的视频密集描述方法

本发明提供了一种细粒度语义感知辅助边界定位的视频密集描述方法，包括有以下步骤:步骤一：进行特征提取和编码；步骤二：构建事件编码模块；步骤三：语义感知增强的事件解码；步骤四：损失函数优化；通过将解码器视为一个多头预测任务来克服仅采用事件起止时间作为直接监督信息，而致使在定位和描述这两个阶段之间仅产生有限相关性的问题；并在此基础上，针对这种有限相关性问题在边界过度平滑的情况下，定位更加困难的不足，还提出通过在框架中引入语言语义感知信息来增强模型有效学习前背景之间差异性特征，以增加边界感知能力来解决由于过度平滑导致定位不清的问题，提高了学习噪声事件实例鲁棒特征的能力，实现更精准定位。