摘要
本发明公开了一种基于多模态大模型的跌倒检测方法、系统、终端及存储介质,所述方法包括:获取实时视频信息,并将所述实时视频信息输入至跌倒初检模型,得到可疑视频帧;获取文本提示信息,并将所述文本提示信息和所述可疑视频帧输入至跌倒复检模型,输出行为分析报告;根据所述行为分析报告得到跌倒检测结果。本发明通过构建跌倒初检模型和跌倒复检模型来实现对跌倒行为的两阶段检测,跌倒初检模型能够快速筛选出可能的跌倒行为,跌倒复检模型能够对可能的跌倒行为进行深度分析,进而输出跌倒检测结果,有效提高了跌倒行为的检测效率以及跌倒检测结果输出的准确性。
技术关键词
跌倒检测方法
实时视频
视频帧
多模态
文本
预训练模型
跌倒检测系统
格式化图像
图像局部特征
报告
数据
关键帧
视频编码
交叉验证法
可读存储介质
处理器
终端
程序