摘要
本发明公开了一种基于自举式生成的图表反事实问答构建方法及系统,包括提取图表图像中的视觉描述和元数据;基于图表视觉描述文本,通过大语言模型的少样本提示方法生成与图表视觉描述文本相对应的初始反事实假设提案,以自举的方式生成达到数量要求的提案储备;基于图表元数据和初始问题答案对,对假设提案储备采样出反事实假设提案样本,通过大语言模型的少样本提示方法生成反事实问题答案对;在收集达到数量要求的反事实问题答案对后,核查反事实问题答案对的文本和数值。本发明能够构建具有反事实逻辑的图表问答数据集,能为视觉问答模型的性能评测生成具有挑战性的测试集,能为视觉文本模型的训练提供具有多样性的训练语料。
技术关键词
图表
大语言模型
提示方法
答案
自然语言文本
图像编码器
样本
数据集构建系统
视觉问答模型
文本生成模型
解码器
逻辑
标记
注意力机制
模块
系统为您推荐了相关专利信息
地理位置信息
拥堵指数
地图服务
时间段
实时路况
大语言模型
分类方法
项目
分类功能
计算机程序指令
问答系统
澄清方法
视觉
非暂态计算机可读存储介质
答案
互动方法
多模态
系统运行状态信息
多臂赌博机
优化控制策略