基于多模态视觉大模型的医院智能耗材管理柜系统

本发明涉及耗材管理技术领域，具体是基于多模态视觉大模型的医院智能耗材管理柜系统，通过采集管理柜从开门到关门之间的视频数据和重量变化值，并通过视频数据的持续时间来进行筛除无效视频数据，从而提高本申请中的识别准确率。此外，本申请通过对视频数据中的光流信息进行提取，并利用光流信息来识别出视频内物体的运动轨迹，从而将整个数据分解为用户手部进入时的放入阶段图像帧以及手部抽出时的拿出阶段图像帧，通过对两个或者多个阶段的图像帧进行识别，得到放入物品种类以及拿出物品种类。结合运动轨迹以及重量变化值，本申请可以准确地识别出用户的放入用品种类数量以及拿出物品的种类和数量。