摘要
本申请涉及人工智能技术领域,尤其涉及一种基于多模态大模型的道岔巡检方法、装置及设备。获取到的道岔巡检文件包括有音频数据和视频数据,并获取到了用于提示多模态大模型对音频数据和视频数据进行分析的提示文本,再利用多模态大模型按照提示文本对音频数据和视频数据进行分析处理,得到道岔巡检文件对应的检查结果,与现有技术中的人工审查相比,大大提高了道岔巡检的效率,并且使用多模态大模型对视频数据和音频数据综合进行分析提高了道岔巡检的准确率。
技术关键词
矩阵
多模态
音频
语音编码器
数据
道岔
巡检方法
文本编码器
视频编码器
大语言模型
交叉注意力机制
基础
模块
人工智能技术
巡检装置
电子设备
系统为您推荐了相关专利信息
分级筛选系统
分级筛选方法
多源异构数据融合
强化学习算法
视频流
弱化方法
生成对抗网络模型
辅助分类器
图像
道路病害
作业车间调度
智能体交互
网络训练方法
连续动作空间
工件