• 模块化设计：我们将OCR任务解耦为几个可配置的模块。用户只需修改几行代码，就可以轻松设置训练和评估流程，自定义数据处理流程和模型架构。
• 高性能：MindOCR提供了一系列经过优化配置训练的预训练权重，在OCR任务上达到了具有竞争力的性能。
• 低成本应用：MindOCR提供了易用的推理工具来执行文本检测和识别任务。

前提条件

MindOCR基于MindSpore AI框架构建，并与以下框架版本兼容。有关详细信息和安装指南，请参考下面显示的安装链接。

• mindspore >= 2.2.0 [安装]
• python >= 3.7
• openmpi 4.0.3 (用于分布式训练/评估) [安装]
• mindspore lite (用于离线推理) >= 2.2.0 [安装]

依赖

pip install -r requirements.txt

从源代码安装（推荐）

git clone https://github.com/mindspore-lab/mindocr.git
cd mindocr
pip install -e .

使用-e表示"可编辑"模式可以帮助解决潜在的模块导入问题。

从docker安装

提供的docker环境信息如下：

• 操作系统：Euler2.8
• CANN：7.0
• Python：3.9
• MindSpore：2.2.10
• MindSpore Lite：2.2.10

请按照以下步骤安装docker：

1. 下载docker

   • 910：

     docker pull swr.cn-central-221.ovaijisuan.com/mindocr/mindocr_dev_910_ms_2_2_10_cann7_0_py39:v1
     

   • 910*：

     docker pull swr.cn-central-221.ovaijisuan.com/mindocr/mindocr_dev_ms_2_2_10_cann7_0_py39:v1
     

2. 创建容器

   docker_name="temp_mindocr"
   # 910
   image_name="swr.cn-central-221.ovaijisuan.com/mindocr/mindocr_dev_910_ms_2_2_10_cann7_0_py39:v1"
   # 910*
   image_name="swr.cn-central-221.ovaijisuan.com/mindocr/mindocr_dev_ms_2_2_10_cann7_0_py39:v1"
   
   docker run --privileged --name ${docker_name} \
       --tmpfs /tmp \
       --tmpfs /run \
       -v /sys/fs/cgroup:/sys/fs/cgroup:ro \
       --device=/dev/davinci1 \
       --device=/dev/davinci2 \
       --device=/dev/davinci3 \
       --device=/dev/davinci4 \
       --device=/dev/davinci5 \
       --device=/dev/davinci6 \
       --device=/dev/davinci7 \
       --device=/dev/davinci_manager \
       --device=/dev/hisi_hdc \
       --device=/dev/devmm_svm \
       -v /etc/localtime:/etc/localtime \
       -v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
       -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
       --shm-size 800g \
       --cpus 96 \
       --security-opt seccomp=unconfined \
       --network=bridge -itd ${image_name} bash
   

3. 进入容器

   # 设置docker id
   container_id="你的docker id"
   docker exec -it --user root $container_id bash
   

4. 设置环境变量 进入容器后，使用以下命令设置环境变量：

   source env_setup.sh
   

从PyPI安装

pip install mindocr

由于该项目正在积极开发中，当前从PyPI安装的版本可能已过时（将很快更新）。

• DBNet (AAAI'2020)
• DBNet++ (TPAMI'2022)
• PSENet (CVPR'2019)
• EAST(CVPR'2017)
• FCENet (CVPR'2021)

• CRNN (TPAMI'2016)
• CRNN-Seq2Seq/RARE (CVPR'2016)
• SVTR (IJCAI'2022)
• MASTER (PR'2019)
• VISIONLAN (ICCV'2021)
• RobustScanner (ECCV'2020)
• ABINet (CVPR'2021)

• YOLOv8 (Ultralytics Inc.)

• LayoutXLM (arXiv'2021)
• LayoutLMv3 (arXiv'2022)

• TableMaster (arXiv'2021)

• Vary (arXiv'2023)

• PublayNet [论文] [下载]

• XFUND [论文] [下载]

• PubTabNet [论文] [下载]

• 2023/04/01

1. 添加新的训练模型
   • 用于关键信息提取的LayoutLMv3

• 2024/03/20

1. 添加新的训练模型
   • 用于OCR大模型的Vary-toy，提供基于Qwen-1.8B LLM的目标检测和OCR能力

• 2023/12/25

1. 添加新的训练模型
   • 用于表格识别的TableMaster
2. 添加更多基准数据集及其结果
   • PubTabNet

• 2023/12/14

1. 新增训练模型
   • 用于关键信息提取的LayoutXLM
   • 用于关键信息提取的VI-LayoutXLM
   • 用于文本检测的PP-OCRv3 DBNet和用于识别的PP-OCRv3 SVTR，支持在线推理和微调
2. 增加更多基准数据集及其结果
   • XFUND
3. 支持多种规格的Ascend 910：DBNet ResNet-50、DBNet++ ResNet-50、CRNN VGG7、SVTR-Tiny、FCENet、ABINet

• 2023/11/28

1. 增加PP-OCRv4离线推理支持
   • 用于文本检测的PP-OCRv4 DBNet和用于文本识别的PP-OCRv4 CRNN，支持离线推理
2. 修复第三方模型离线推理的错误

• 2023/11/17

1. 新增训练模型
   • 用于版面分析的YOLOv8
2. 增加更多基准数据集及其结果
   • PublayNet

• 2023/07/06

1. 新增训练模型
   • 用于文本识别的RobustScanner

• 2023/07/05

1. 新增训练模型
   • 用于文本识别的VISIONLAN

• 2023/06/29

1. 新增训练模型
   • 用于文本检测的FCENet
   • 用于文本识别的MASTER

• 2023/06/07

1. 新增训练模型
   • 用于文本检测的PSENet
   • 用于文本检测的EAST
   • 用于文本识别的SVTR
2. 增加更多基准数据集及其结果
   • totaltext
   • mlt2017
   • chinese_text_recognition
3. 增加恢复训练功能，可用于意外中断训练时。使用方法：在yaml配置文件的model字段下添加resume参数，例如resume: True，从{ckpt_save_dir}/train_resume.ckpt加载并恢复训练，或resume: /path/to/train_resume.ckpt，从给定路径加载并恢复训练。
4. 改进检测后处理：默认将检测到的文本多边形重新缩放到原始图像空间，可通过在eval.dataset.output_columns列表中添加"shape_list"来启用。
5. 重构在线推理以支持更多模型，详见README.md。

• 2023/05/15

1. 新增训练模型
   • 用于文本检测的DBNet++
   • 用于文本识别的CRNN-Seq2Seq
   • 现已提供在SynthText上预训练的DBNet：checkpoint url
2. 增加更多基准数据集及其结果
   • SynthText、MSRA-TD500、CTW1500
   • 更多DBNet的基准结果报告可在此处查看。
3. 添加检查点管理器以保存前k个检查点并改进日志。
4. 重构Python推理代码。
5. 错误修复：使用Meter平均大数据集的损失，在AMP训练中禁用ctcloss的pred_cast_fp32，修复存在无效多边形时的错误。

• 2023/05/04

1. 支持通过在yaml中设置model-pretrained为检查点url或本地路径来加载自定义预训练检查点。
2. 支持设置执行旋转和翻转等增强的概率。
3. 为模型训练添加指数移动平均（EMA），可通过在yaml配置中设置train-ema（默认：False）和train-ema_decay启用。
4. 参数变更：num_columns_to_net -> net_input_column_index：将输入网络的列数改为列索引。
5. 参数变更：num_columns_of_labels -> label_column_index：将对应标签的列数改为列索引。

• 2023/04/21

1. 添加参数分组以支持训练中的灵活正则化。用法：在yaml配置中添加grouping_strategy参数选择预定义的分组策略，或使用no_weight_decay_params参数选择要排除权重衰减的层（如偏置、归一化）。示例可参考configs/rec/crnn/crnn_icdar15.yaml。
2. 添加梯度累积以支持大批量训练。用法：在yaml配置中添加gradient_accumulation_steps，全局批量大小 = batch_size * devices * gradient_accumulation_steps。示例可参考configs/rec/crnn/crnn_icdar15.yaml。
3. 添加梯度裁剪以支持训练稳定。通过在yaml配置中设置grad_clip为True来启用。

• 2023/03/23

1. 添加动态损失缩放器支持，兼容溢出丢弃更新。要启用动态损失缩放器，请将loss_scale的type设置为dynamic。YAML示例可在configs/rec/crnn/crnn_icdar15.yaml中查看。

• 2023/03/20

1. 参数名称变更：output_keys -> output_columns，num_keys_to_net -> num_columns_to_net
2. 数据管道更新

• 2023/03/13

1. 添加系统测试和CI工作流。
2. 添加modelarts适配器以允许在OpenI平台上训练。在OpenI上训练：

       i)   在openi云平台上创建新的训练任务。
       ii)  在网页上链接数据集（如ic15_mindocr）。
       iii) 在网站UI界面添加运行参数`config`并写入yaml文件路径，例如'/home/work/user-job-dir/V0001/configs/rec/test.yaml'
       iv)  在网站UI界面添加运行参数`enable_modelarts`并设置为True。
       v)   填写其他空白并启动。