摘要
本申请公开了一种面向增强维修的现场操作解析方法、装置、设备、介质及产品,涉及数据解析处理技术领域。所述方法包括:获取装备维修现场的视频数据;对视频数据进行切割处理,得到切割信息;切割信息包括:视频流、工具操作轨迹以及设备状态数据;将切割信息输入至改进的视觉语言模型,得到解析信息数据;改进的视觉语言模型是基于视觉语言模型,根据多模态知识体系、先验知识以及装备维修现场历史的视频数据构建的多模态装备维修领域数据集,采用低秩适应的有监督微调方法进行调整得到的;解析信息数据是将切割信息中的视觉与自然语言表达相结合得到的,用以实现视觉语言理解与生成。本申请旨在快速准确的实现维修现场操作的解析。
技术关键词
解析方法
视觉
微调方法
设备状态数据
多模态
SQLite数据库
自然语言
视频流
维修现场
处理器
解析装置
数据获取模块
轨迹
训练集
计算机程序产品
维修工具
计算机设备
调度器
系统为您推荐了相关专利信息
Stacking集成模型
多模态数据融合
铝型材
粉末喷涂工艺
在线学习机制
电网运行参数
设备状态参数
电网资源调度方法
分布式人工智能
电网设备
对象识别模型
编码模块
输入端
多模态信息
输出端
版权交易方法
哈希算法
多模态
分布式数字资产
音频特征提取
多模态数据融合
多模态特征
回归预测模型
融合策略
注意力机制