keras-ocr

这是对Keras CRNN实现和发布的CRAFT文本检测模型的略微完善和打包版本。它提供了一个高级API，用于训练文本检测和OCR流程。

请查看文档以获取更多示例，包括如何训练自定义模型。

入门

安装

keras-ocr支持Python >= 3.6和TensorFlow >= 2.0.0。

# 从master分支安装
pip install git+https://github.com/faustomorales/keras-ocr.git#egg=keras-ocr

# 从PyPi安装
pip install keras-ocr

使用

该软件包附带了一个易于使用的CRAFT文本检测模型实现，来自此仓库，以及CRNN识别模型，来自此仓库。

import matplotlib.pyplot as plt

import keras_ocr

# keras-ocr将自动下载检测器和识别器的预训练权重
pipeline = keras_ocr.pipeline.Pipeline()

# 获取三个示例图像
images = [
    keras_ocr.tools.read(url) for url in [
        'https://upload.wikimedia.org/wikipedia/commons/b/bd/Army_Reserves_Recruitment_Banner_MOD_45156284.jpg',
        'https://upload.wikimedia.org/wikipedia/commons/e/e8/FseeG2QeLXo.jpg',
        'https://upload.wikimedia.org/wikipedia/commons/b/b4/EUBanana-500x112.jpg'
    ]
]

# prediction_groups中的每个预测列表都是(单词, 边界框)元组的列表
prediction_groups = pipeline.recognize(images)

# 绘制预测结果
fig, axs = plt.subplots(nrows=len(images), figsize=(20, 20))
for ax, image, predictions in zip(axs, images, prediction_groups):
    keras_ocr.tools.drawAnnotations(image=image, predictions=predictions, ax=ax)

标注图像示例

比较keras-ocr与其他OCR方法

您可能想知道此软件包中的模型与现有的云OCR API相比如何。我们提供了一些指标，以及用于计算这些指标的notebook，使用COCO-Text验证集中的前1,000张图像。我们将其限制在1,000张，因为在撰写本文时，Google Cloud的免费层每月提供1,000次调用。如往常一样，有一些注意事项：

这些数字不提供任何保证 -- 请注意并独立计算您自己的指标以验证它们。截至目前，它们应被视为非常粗略的初稿。如果您发现任何错误，请提出问题。特别是，云API有各种可用于提高性能的选项，响应可以以不同方式解析。我在配置或解析方面可能犯了一些错误。再次强调，如果您发现任何错误，请提出问题！
我们忽略了标点符号和字母大小写，因为keras-ocr中开箱即用的识别器（由这个独立仓库提供）不支持这两者。请注意，AWS Rekognition和Google Cloud Vision都支持标点符号以及大小写字母。
我们忽略了非英语文本。
我们忽略了无法辨认的文本。 | 模型 | 延迟 | 精确度 | 召回率 | | ------------------------------------------------------------------------------------------------------------------------------- | ------ | ------ | ------ | | AWS | 719毫秒 | 0.45 | 0.48 | | GCP | 388毫秒 | 0.53 | 0.58 | | keras-ocr (缩放比例=2) | 417毫秒 | 0.53 | 0.54 | | keras-ocr (缩放比例=3) | 699毫秒 | 0.5 | 0.59 |
精确度和召回率的计算基于交并比大于等于50%且与真实值的文本相似度大于等于50%。
keras-ocr的延迟值是在Google Colab上使用Tesla P4 GPU计算得出的。scale指的是提供给keras_ocr.pipelines.Pipeline()的参数，用于确定在推理前应用于图像的上采样比例。
云服务提供商的延迟是通过顺序请求测量的，因此通过同时发送多个API请求，可以显著提高速度。
每个条目都提供了一个链接，指向包含每次处理的注释的JSON文件。你可以使用这些文件和笔记本来计算指标，而无需自己进行API调用（不过我们鼓励你独立复现结果）！

为什么不与Tesseract比较？ 在我尝试的每种配置中，Tesseract在这个测试中表现都很差。Tesseract在书籍扫描上表现最佳，而不是在这个数据集中的偶然场景文本上。

高级配置

默认情况下，如果GPU可用，Tensorflow会尝试占用几乎所有可用的显存，这在你同时运行多个Tensorflow和Pytorch模型时会造成问题。设置任何值的MEMORY_GROWTH环境变量将强制Tensorflow仅动态分配所需的GPU内存。

你还可以通过设置MEMORY_ALLOCATED环境变量为任何浮点数来指定每个Tensorflow进程的限制，这个值是VRAM与总量的浮点比率。

要应用这些更改，请在导入keras_ocr的文件顶部调用keras_ocr.config.configure()。

贡献

要参与项目开发，请先执行以下操作。这些说明可能还不适用于Windows，但如果有Windows用户有修复建议，我们将非常感激（我目前没有Windows机器来测试）。

# 安装本地依赖项，用于
# 代码补全等
make init

# 构建Docker容器以运行
# 测试等
make build

你可以使用make lab运行JupyterLab服务器进行实验。
在提交代码前运行检查，可以使用make format-check type-check lint-check test。
要查看文档，请使用make docs。

要实现新功能，请先提交一个issue来讨论你的改动建议。

要报告问题，请提交一个issue，并附上样例代码、预期结果、实际结果和完整的错误追踪。

故障排除

这个包安装了opencv-python-headless，但我更喜欢其他opencv版本。 这是由于aleju/imgaug#473引起的。你可以在安装keras-ocr后卸载不需要的OpenCV版本。我们对此造成的不便表示歉意。