Loading... # OCRFlux 3B 多模态 PDF 转 Markdown 工具技术分析 # 一、概述 ## 1. 简介 ### A. 项目背景 OCRFlux 是由 ChatDOC 团队开发的开源多模态大语言模型工具包，专注于将 PDF 文档和图像转换为高质量的 Markdown 文本。该项目于 2025 年 6 月 17 日发布 v0.1.0 版本，在复杂布局处理、复杂表格解析和跨页内容合并方面取得了显著突破。 ### B. 核心定位 - 基于 3B 参数的视觉语言模型（VLM） - 可在消费级 GPU（如 GTX 3090）上运行 - 开创性地支持跨页表格和段落合并功能 - 在单页解析和跨页合并任务上均达到业界领先水平 ### C. 应用场景 - 学术论文 OCR 处理 - 技术文档数字化 - 财务报表解析 - 多语言文档处理（支持中英文） ## 2. 技术亮点 ### A. 单页解析优势 在自建的 OCRFlux-bench-single 基准测试中，OCRFlux-3B 达到了 0.967 的编辑距离相似度（EDS），相比基线模型 olmOCR-7B-0225-preview（0.872）、Nanonets-OCR-s（0.858）和 MonkeyOCR（0.780），分别提升了 0.095、0.109 和 0.187。 ### B. 跨页合并能力 首次在开源项目中支持跨页表格和段落合并，解决了 PDF 分页导致的内容碎片化问题。在 OCRFlux-bench-cross 基准测试中，跨页检测任务达到了 0.986 的 F1 分数和 0.986 的准确率。 ### C. 轻量级部署 相比需要更大显存的 7B 模型，3B 参数的模型设计使其能够在 12GB 显存的 GPU 上运行，大幅降低了硬件门槛。 # 二、系统架构 ## 1. 整体架构 OCRFlux 采用模块化的流水线架构，将 PDF 转换过程分解为多个阶段，每个阶段专注于特定的子任务。 ```mermaid graph TB Input[PDF/Image 文件] --> Render[PDF 页面渲染] Render --> PageParse[单页解析] PageParse --> PageElements[页面元素提取] PageElements --> DetectMerge{跨页检测} DetectMerge -->|需要合并| CrossPageMerge[跨页合并] DetectMerge -->|无需合并| Output[生成 Markdown] CrossPageMerge --> TableMerge[表格合并] CrossPageMerge --> ParaMerge[段落合并] TableMerge --> Output ParaMerge --> Output ```  ## 2. 核心组件 ### A. PDF 渲染模块 负责将 PDF 页面转换为图像格式，使用 poppler-utils 进行高质量渲染。支持自定义图像尺寸（通过 target_longest_image_dim 参数控制）。 ### B. 单页解析模块 基于 3B 参数的视觉语言模型，将页面图像转换为结构化的 Markdown 元素列表。该模块能够： - 识别多栏布局并按自然阅读顺序排序 - 解析复杂表格和数学公式 - 自动移除页眉和页脚 ### C. 跨页检测模块 分析相邻页面的 Markdown 元素列表，判断是否存在需要合并的跨页内容。使用精确率、召回率和 F1 分数评估检测性能。 ### D. 跨页合并模块 针对检测到的跨页内容进行智能合并： - 段落合并：直接拼接文本内容 - 表格合并：处理表头重复、单元格跨页、垂直分割等复杂场景 # 三、核心功能 ## 1. 单页解析功能 ### A. 布局理解 OCRFlux 能够处理多种复杂布局场景： - 多栏布局（如学术论文的双栏排版） - 图文混排 - 插入框和侧边栏 ### B. 表格解析 支持简单表格和复杂表格（包含 rowspan 和 colspan 的单元格）。在 OCRFlux-pubtabnet-single 基准测试中： - 简单表格 TEDS：0.912 - 复杂表格 TEDS：0.807 - 总体 TEDS：0.861 ### C. 公式处理 支持 LaTeX 数学公式的识别和转换。 ### D. 页面清理 自动识别并移除重复的页眉和页脚，保留页面核心内容。 ## 2. 跨页合并功能 ### A. 跨页检测 输入：两个连续页面的 Markdown 元素列表 输出：需要合并的元素索引 检测评估指标（OCRFlux-bench-cross）： | 语言 | 精确率 | 召回率 | F1 分数 | 准确率 | |------|--------|--------|---------|--------| | 英语 | 0.992 | 0.964 | 0.978 | 0.978 | | 中文 | 1.000 | 0.988 | 0.994 | 0.994 | | 总体 | 0.996 | 0.976 | 0.986 | 0.986 | ### B. 跨页段落合并 对于跨页段落，直接将文本内容拼接，确保语义连贯性。 ### C. 跨页表格合并 处理以下复杂场景： - 表头重复：第二页表格的第一行往往是第一页的表头重复 - 单元格跨页：长内容单元格在不同页面间分割 - 垂直分割：多列表格在不同页面间垂直分割 表格合并评估（OCRFlux-pubtabnet-cross）： | 表格类型 | TEDS 分数 | |----------|-----------| | 简单表格 | 0.965 | | 复杂表格 | 0.935 | | 总体 | 0.950 | # 四、技术实现 ## 1. 模型规格 ### A. 基础配置 - 参数量：3B（30 亿参数） - 模型类型：多模态大语言模型（VLM） - 推理引擎：vLLM - 数据类型支持：bfloat16、float16、float32 ### B. 硬件要求 - 最低配置：12GB 显存的 NVIDIA GPU（如 GTX 3090） - 推荐配置：24GB+ 显存（如 RTX 4090、L40S、A100、H100） - 存储空间：20GB 可用磁盘空间 - 系统依赖：poppler-utils、字体包 ## 2. 推理优化 ### A. GPU 内存管理 通过 gpu_memory_utilization 参数控制 GPU 内存使用率（默认 0.8），支持在有限显存下运行模型。 ### B. 张量并行 对于显存较小的 GPU，可通过 tensor_parallel_size 参数将模型分布到多个 GPU 上运行。 ### C. 数据类型选择 - 支持 bf16 的 GPU（如 RTX 3090、4090）：使用 bfloat16 提升性能 - 不支持 bf16 的 GPU（如 V100）：使用 float32 确保兼容性 ## 3. 部署方式 ### A. 离线推理 直接在代码中调用 OCRFlux，无需启动在线服务： ```python from vllm import LLM from ocrflux.inference import parse llm = LLM(model="model_dir/OCRFlux-3B", gpu_memory_utilization=0.8, max_model_len=8192) result = parse(llm, 'test.pdf') ``` ### B. 在线服务 启动 vLLM 服务器，支持多客户端并发请求： ```bash bash ocrflux/server.sh /path/to/model 30024 ``` ### C. Docker 容器 提供预配置的 Docker 镜像，简化部署流程： ```bash docker run -it --gpus all \ -v /path/to/localworkspace:/localworkspace \ -v /path/to/test_pdf_dir:/test_pdf_dir \ chatdoc/ocrflux:latest ``` # 五、基准测试 ## 1. 单页解析基准 ### A. OCRFlux-bench-single - 样本数量：2000 页 PDF（1000 英文 + 1000 中文） - 标注方式：人工多轮标注校验 - 评估指标：编辑距离相似度（EDS） 性能对比： | 模型 | 英文 EDS | 中文 EDS | 平均 EDS | |------|----------|----------|----------| | olmOCR-7B-0225-preview | 0.885 | 0.859 | 0.872 | | Nanonets-OCR-s | 0.870 | 0.846 | 0.858 | | MonkeyOCR | 0.828 | 0.731 | 0.780 | | OCRFlux-3B | 0.971 | 0.962 | 0.967 | ### B. OCRFlux-pubtabnet-single - 样本来源：公共 PubTabNet 数据集 - 样本数量：9064 个 HTML 表格样本 - 分类：简单表格（无 rowspan/colspan）和复杂表格 - 评估指标：树编辑距离相似度（TEDS） 表格解析性能： | 表格类型 | olmOCR-7B | Nanonets | MonkeyOCR | OCRFlux-3B | |----------|-----------|----------|-----------|------------| | 简单表格 | 0.810 | 0.882 | 0.880 | 0.912 | | 复杂表格 | 0.676 | 0.772 | 0.826 | 0.807 | | 总体 | 0.744 | 0.828 | 0.853 | 0.861 | ## 2. 跨页合并基准 ### A. OCRFlux-bench-cross - 样本数量：1000 个跨页样本（500 英文 + 500 中文） - 标注内容：相邻两页的 Markdown 元素列表及需要合并的元素索引 - 评估指标：精确率、召回率、F1 分数、准确率 检测性能： | 语言 | 精确率 | 召回率 | F1 分数 | 准确率 | |------|--------|--------|---------|--------| | 英语 | 0.992 | 0.964 | 0.978 | 0.978 | | 中文 | 1.000 | 0.988 | 0.994 | 0.994 | | 总体 | 0.996 | 0.976 | 0.986 | 0.986 | ### B. OCRFlux-pubtabnet-cross - 样本数量：9064 对分割表格片段 - 评估指标：合并后表格与真实表格的 TEDS 合并性能： | 表格类型 | TEDS 分数 | |----------|-----------| | 简单表格 | 0.965 | | 复杂表格 | 0.935 | | 总体 | 0.950 | # 六、使用指南 ## 1. 环境配置 ### A. 系统依赖 Ubuntu/Debian 系统安装： ```bash sudo apt-get update sudo apt-get install poppler-utils poppler-data \ ttf-mscorefonts-installer msttcorefonts \ fonts-crosextra-caladea fonts-crosextra-carlito \ gsfonts lcdf-typetools ``` ### B. Python 环境 创建干净的 conda 环境： ```bash conda create -n ocrflux python=3.11 conda activate ocrflux ``` ### C. 安装 OCRFlux ```bash git clone https://github.com/chatdoc-com/OCRFlux.git cd OCRFlux pip install -e . --find-links https://flashinfer.ai/whl/cu124/torch2.5/flashinfer/ ``` ## 2. 基本使用 ### A. 处理单个文件 ```bash python -m ocrflux.pipeline ./localworkspace \ --data test.pdf \ --model /model_dir/OCRFlux-3B ``` ### B. 批量处理 ```bash python -m ocrflux.pipeline ./localworkspace \ --data test_pdf_dir/*.pdf \ --model /model_dir/OCRFlux-3B ``` ### C. 生成 Markdown 文件 ```bash python -m ocrflux.jsonl_to_markdown ./localworkspace ``` ## 3. 高级配置 ### A. 跳过跨页合并 加速处理过程，但会牺牲部分质量： ```bash python -m ocrflux.pipeline ./localworkspace \ --data test.pdf \ --model /model_dir/OCRFlux-3B \ --skip_cross_page_merge ``` ### B. 多 GPU 推理 ```bash python -m ocrflux.pipeline ./localworkspace \ --data test.pdf \ --model /model_dir/OCRFlux-3B \ --tensor_parallel_size 2 ``` ### C. 数据类型选择 ```bash # V100 GPU（不支持 bf16） python -m ocrflux.pipeline ./localworkspace \ --data test.pdf \ --model /model_dir/OCRFlux-3B \ --dtype float32 ``` # 七、性能分析 ## 1. 优势分析 ### A. 单页解析质量 OCRFlux-3B 在中英文混合数据集上的平均 EDS 达到 0.967，显著优于同类开源模型。这得益于： - 3B 参数规模的模型设计平衡了性能和效率 - 针对复杂布局的专门训练 - 表格和公式解析的专项优化 ### B. 跨页合并能力 作为首个支持跨页合并的开源项目，OCRFlux 解决了 PDF 处理中的关键痛点： - 避免内容碎片化 - 保持表格和段落的完整性 - 提升最终输出文档的可读性 ### C. 部署灵活性 - 支持离线推理和在线服务两种模式 - 可在消费级 GPU 上运行 - 提供 Docker 容器化部署方案 ## 2. 局限性 ### A. 复杂表格合并 在 OCRFlux-pubtabnet-single 的复杂表格解析中，TEDS 为 0.807，略低于 MonkeyOCR 的 0.826。这表明在极端复杂的表格场景下仍有提升空间。 ### B. 硬件依赖 虽然降低了硬件门槛，但仍需要 NVIDIA GPU，无法在 CPU 或其他厂商的 GPU 上运行。 ### C. 语言支持 当前基准测试主要覆盖中英文，对其他语言的支持能力尚未充分验证。 # 八、项目生态 ## 1. 开源许可 采用 Apache 2.0 许可证，允许商业使用和修改。 ## 2. 团队背景 由 ChatDOC 团队开发和维护，ChatDOC 是一个专注于文档 AI 的产品公司。 ## 3. 代码复用性 项目提供多个可复用的代码模块： - pipeline.py：大规模 PDF 批处理流水线 - jsonl_to_markdown.py：JSONL 转 Markdown 工具 - inferencer.py：离线推理接口 - server.py：vLLM 服务器启动脚本 - client.py：在线推理客户端 - 多个评估脚本：用于模型性能测试 # 九、应用前景 ## 1. 学术研究 OCRFlux 的高质量解析能力使其成为学术文献数字化的理想工具，特别是： - 多栏布局的学术论文 - 复杂表格和数据图表 - 跨页表格和公式 ## 2. 企业应用 - 财务报表自动化处理 - 合同文档数字化归档 - 技术文档批量转换 ## 3. 个人使用 - 电子书制作和整理 - 笔记归档和检索 - 文献资料管理 # 十、总结 OCRFlux 作为轻量级多模态 PDF 转 Markdown 工具，在单页解析和跨页合并两个核心任务上均表现出色。其 3B 参数的模型设计使得高质量 OCR 技术能够在消费级硬件上运行，降低了技术使用门槛。开创性的跨页合并功能解决了 PDF 处理中的长期痛点，为文档数字化提供了新的解决方案。 从技术角度看，OCRFlux 的成功体现了以下几个关键点： - 专注核心场景的模型设计 - 高质量基准测试的构建 - 工程化部署的完善 - 开源社区的积极参与 未来可期待的改进方向包括： - 支持更多语言 - 进一步提升复杂表格解析能力 - 降低硬件依赖（如支持 CPU 推理） - 优化长文档处理效率 *** ## 参考资料 1. [OCRFlux GitHub 仓库](https://github.com/chatdoc-com/OCRFlux) 最后修改：2026 年 01 月 26 日 © 允许规范转载 赞 如果觉得我的文章对你有用，请随意赞赏