基于多模态感知进行实时反馈的虚实融合化学实验平台

本发明公开了基于多模态感知进行实时反馈的虚实融合化学实验平台，包括，视频捕获模块，对学生实验过程进行视频采集，捕捉学生使用实验器材的操作过程；目标检测模块，实时检测化学实验过程中涉及到的各种实验器材和化学试剂；HOI检测模块，实验过程中，识别学生与实验器材之间的交互行为，判断其是否与预设实验步骤中的关键点对齐；反馈模块，依据目标检测与HOI检测的检测结果，判断学生实验过程操作的正确性，面对错误的操作可实时进行反馈提示；通过视频捕获模块在学生独立进行化学实验操作时能够将其实验过程进行视频采集，依据设定的实验步骤中的关键节点经由目标检测模块和HOI检测模块的结果与这些节点进行对比，判断学生的操作是否正确。