一种基于多粒度预测的文档视觉问答任务的文档处理方法

本发明提出了一种基于多粒度预测的文档视觉问答任务的文档处理方法，包括以下步骤：S1，识别输入文档的格式并提取其中的文本与图像信息；S2，采用自然语言处理技术对文本进行语义理解和上下文分析；S3，通过深度学习模型将文本信息与视觉信息进行联合嵌入与对齐，捕捉文档中的显式语义信息；S4，基于用户输入的问题，结合文本和视觉信息进行多粒度匹配，并生成预测的答案。本发明的创新之处在于引入了多粒度检索与推理机制，通过增强模型对短距离上下文关系的建模能力，显著提升了答案预测的准确性。此外，采用的验证编辑推理框架提高了答案预测过程的可解释性，使得生成的答案具有更高的透明度和可信度，特别适用于精度要求较高的任务环境。