Loading... # Ollama-OCR：基于视觉大模型的本地 OCR 工具技术分析 # 一、概述 ## 1. 项目简介 Ollama-OCR 是一个功能强大的光学字符识别（OCR）工具包，通过 Ollama 平台调用先进的视觉语言模型，从图像和 PDF 文档中提取文本。该项目提供 Python 包和 Streamlit Web 应用两种使用方式，支持本地部署，无需依赖云端 API。 ## 2. 核心特性 - 支持多种视觉大模型：LLaVA、Llama 3.2 Vision、Granite3.2-vision、Moondream、Minicpm-v - 多种输出格式：Markdown、纯文本、JSON、结构化数据、键值对、表格 - 批处理功能：并行处理多张图片，支持进度跟踪 - 自定义提示词：可根据需求自定义文本提取指令 - 语言指定：支持指定文本语言以提高识别准确性 - 友好的 Web 界面：基于 Streamlit 的拖拽式上传和实时处理 ## 3. 项目数据 - GitHub Stars：2.1k+ - Forks：240+ - 主要语言：Jupyter Notebook（95.7%）、Python（4.3%） - 许可证：MIT License # 二、技术架构 ## 1. 系统组成 ```mermaid graph TB subgraph 输入层 A[图像文件] --> D[OCR 处理器] B[PDF 文件] --> D C[批量文件夹] --> D end subgraph 处理层 D --> E[OCRProcessor] E --> F{模型选择} F --> G[LLaVA] F --> H[Llama 3.2 Vision] F --> I[Granite3.2-vision] F --> J[Moondream] F --> K[Minicpm-v] end subgraph 输出层 G --> L[格式转换] H --> L I --> L J --> L K --> L L --> M[Markdown] L --> N[纯文本] L --> O[JSON] L --> P[结构化] L --> Q[键值对] L --> R[表格] end ```  ## 2. 核心组件 ### A. OCRProcessor 负责初始化和配置 OCR 处理流程的核心类，支持以下功能： - 模型选择和配置 - 自定义 Ollama API 端点 - 并发工作线程设置 - 图像预处理选项 ### B. 视觉模型接口 通过 Ollama API 调用不同的视觉语言模型： - **LLaVA**：高效视觉语言模型，适合实时处理 - **Llama 3.2 Vision**：高精度模型，适合复杂文档 - **Granite3.2-vision**：专为视觉文档理解设计，擅长提取表格、图表、信息图内容 - **Moondream**：轻量级模型，适合边缘设备 - **Minicpm-v**：支持任意宽高比，最高可处理 180 万像素（如 1344x1344） ### C. 输出格式处理器 根据用户需求将识别结果转换为不同格式： - Markdown：保留标题和列表的文本格式 - 纯文本：简洁的文本提取 - JSON：结构化数据格式 - 结构化：表格和组织化数据 - 键值对：提取带标签的信息 - 表格：提取所有表格数据 # 三、功能详解 ## 1. 单文件处理 支持单个图像或 PDF 文件的文本提取，核心代码示例： ```python from ollama_ocr import OCRProcessor # 初始化 OCR 处理器 ocr = OCRProcessor( model_name='llama3.2-vision:11b', base_url="http://host.docker.internal:11434/api/generate" ) # 处理图像 result = ocr.process_image( image_path="path/to/your/image.png", # 或 PDF 文件路径 format_type="markdown", # 可选：markdown, text, json, structured, key_value custom_prompt="Extract all text, focusing on dates and names.", # 可选自定义提示 language="English" # 指定文本语言 ) print(result) ``` ## 2. 批量处理 支持文件夹批量处理，包含进度跟踪和统计信息： ```python from ollama_ocr import OCRProcessor # 初始化 OCR 处理器（设置并发工作线程） ocr = OCRProcessor(model_name='llama3.2-vision:11b', max_workers=4) # 批量处理多个图像 batch_results = ocr.process_batch( input_path="path/to/images/folder", # 文件夹或图像路径列表 format_type="markdown", recursive=True, # 搜索子目录 preprocess=True, # 启用图像预处理 custom_prompt="Extract all text, focusing on dates and names.", language="English" ) # 访问结果 for file_path, text in batch_results['results'].items(): print(f"\nFile: {file_path}") print(f"Extracted Text: {text}") # 查看统计信息 print("\nProcessing Statistics:") print(f"Total images: {batch_results['statistics']['total']}") print(f"Successfully processed: {batch_results['statistics']['successful']}") print(f"Failed: {batch_results['statistics']['failed']}") ``` ## 3. 批量处理流程 ```mermaid sequenceDiagram participant U as 用户 participant O as OCRProcessor participant W as 工作线程池 participant M as Ollama 模型 participant F as 文件系统 U->>O: 调用 process_batch() O->>F: 扫描输入目录 F-->>O: 返回文件列表 O->>W: 分发任务到工作线程 loop 遍历每个文件 W->>F: 读取图像文件 F-->>W: 返回图像数据 W->>M: 发送 OCR 请求 M-->>W: 返回识别结果 W->>O: 汇报处理进度 end O-->>U: 返回批量结果和统计 ```  # 四、Streamlit Web 应用 ## 1. 功能特性 - 拖拽式文件上传 - 实时处理反馈 - 提取结果下载 - 图像预览和详细信息 - 响应式设计 - 语言选择（提高 OCR 准确性） ## 2. 部署步骤 ```bash # 克隆仓库 git clone https://github.com/imanoop7/Ollama-OCR.git cd Ollama-OCR # 安装依赖 pip install -r requirements.txt # 进入应用目录 cd src/ollama_ocr # 运行 Streamlit 应用 streamlit run app.py ``` # 五、模型对比分析 | 模型 | 特点 | 适用场景 | 资源需求 | |------|------|---------|---------| | LLaVA | 高效实时处理 | 快速 OCR 任务 | 较低 | | Llama 3.2 Vision | 高精度复杂文档 | 专业文档识别 | 中等 | | Granite3.2-vision | 表格图表提取 | 结构化文档 | 中等 | | Moondream | 轻量级边缘部署 | 资源受限环境 | 最低 | | Minicpm-v | 高分辨率支持 | 大尺寸图像 | 较高 | # 六、前置要求 ## 1. 安装 Ollama ```bash # Linux/macOS curl -fsSL https://ollama.com/install.sh | sh # 或使用包管理器安装 ``` ## 2. 拉取所需模型 ```bash ollama pull llama3.2-vision:11b ollama pull granite3.2-vision ollama pull moondream ollama pull minicpm-v ``` # 七、应用场景 ## 1. 文档数字化 将纸质文档、扫描件转换为可编辑的数字文本 ## 2. 数据提取 从发票、表格、表单中提取结构化数据 ## 3. 多语言处理 支持指定语言参数，处理多语言文档 ## 4. 批量文档处理 企业级文档批量 OCR 需求 ## 5. 隐私敏感场景 本地部署，无需将敏感文档上传到云端 # 八、技术优势 ## 1. 本地部署 - 数据隐私保护 - 无需网络连接 - 无 API 调用成本 ## 2. 模型灵活性 - 支持多种视觉大模型 - 可根据需求切换模型 - 自定义 Ollama API 端点 ## 3. 输出格式丰富 - 满足不同场景需求 - 保留文档结构信息 - 支持结构化数据提取 ## 4. 易用性 - 简洁的 Python API - 友好的 Web 界面 - 详细的示例代码 # 九、生态系统集成 项目提供与主流 AI 框架的集成示例： ## 1. Autogen 集成 ```python # example_notebooks/ollama-ocr-with-autogen.ipynb # 展示如何在 Autogen Agent 系统中使用 Ollama-OCR ``` ## 2. LangGraph 集成 ```python # example_notebooks/ollama-ocr-with-langgraph.ipynb # 展示如何在 LangGraph 工作流中使用 Ollama-OCR ``` ## 3. Google Colab 支持 ```python # example_notebooks/ollama_ocr_on_colab.ipynb # 在云端免费 GPU 环境中使用 Ollama-OCR ``` # 十、总结 Ollama-OCR 是一个设计精良的本地 OCR 工具，通过整合 Ollama 平台的多种视觉大模型，提供了强大而灵活的文本识别能力。其核心优势在于： 1. **本地化部署**：保护数据隐私，适合敏感场景 2. **模型多样性**：支持多种视觉模型，满足不同精度和资源需求 3. **格式丰富**：多种输出格式适应不同应用场景 4. **易于集成**：提供 Python API 和 Web 界面，支持与主流 AI 框架集成 该项目适合需要本地 OCR 解决方案的个人开发者、企业和组织，特别是对数据隐私有较高要求的场景。 *** ## 参考资料 1. [Ollama-OCR GitHub 仓库](https://github.com/imanoop7/Ollama-OCR) 最后修改：2026 年 01 月 20 日 © 允许规范转载 赞 如果觉得我的文章对你有用，请随意赞赏