多模态GraphRAG初探：
文档智能+知识图谱+大模型结合范式
演讲人：余俊晖｜360人工智能研究院高级算法工程师
01文档智能解析技术链路与文
档层级关系构建
02多模态图索引构建与多模态检索
目录生成流程
CONTENTS
03知识图谱解决chunk之间关联以及
细粒度问题
04文档多模态RAG相关工作进展
文档智能解析技术链路与
文档层级关系构建
RAGvsGraphRAG
智能文档理解技术演变
文档解析整体流程
OCR-PIPELINE
OCR-Free（多模态）
PDF-Parse
文档解析整体流程
方案优点缺点
OCR-1、可输出Boudingbox信1、当前方案依赖计算机视觉方案，泛化性较差；
PIPELINE息,以及版式标签信息等;2、精度不高。版式分析、表格解析、段落合并等效果均有
(如：ppstructure、2、模块灵活,可单独做优化改进空间；
mineru等)3、支持CPU离线部署3、CPU环境下速度较慢,涉及模块多,pipeline式较慢
4、能支持扫描版文档
OCR-FREE1、直接端到端,不需要其他1、不支持区域分块,不输出Boundingbox信息;
（如：olmOCR、mistral复杂逻辑2、不支持CPU离线部署;
OCR等）2、能处理扫描版文档3、速度非常慢，消耗GPU资源,在文档页面很多时,处理速
度难以忍受;
4、部署成本较高,针对较长文本情况,显存占用大;
5、存在幻觉问题,容易出现多字、少字,生成内容与原文不一
致;
6、无法处理表格图片,图表,无法做截图存储;
PDF2TEXT1、速度十分快速1、不支持扫描版本文档处理
(如：pdfminer、fitz等)2、在可编辑场景下OCR的2、无法正确处理图片、表格等,整体质量稍差一些;
文字信息识别较为准确
文档解析之布局分析
?页面版式分析是一个目标检测任务，用于对文档进行区域划分，核心在于标签的定义：正文、标题、图片、图片标题、表格、表格标题、页眉、
页脚、注释、公式等，也可以是化学式、分子结构式等。
?代表参考：/opendatalab/DocLayout-YOLO，核心是泛化性；
核心问题:版式分析模型与文档类型强相关，本质上需要文档标注的多样性以及粒度控制
文档解析之布局分析-360LayoutAnalysis
?版式分析本质上是一个目标检测任务，用于对文档进行区域划分，核心在于标签的定义：正文、标题、图片、图片标题、表格、表格标题、页
眉、页脚、注释、公式
?