引言
光学字符识别(Optical Character Recognition, OCR)作为计算机视觉和人工智能的重要分支,在信息数字化、智能信息处理等领域发挥着越来越重要的作用。高质量、大规模的数据集是推动OCR技术进步的关键因素之一。本文全面梳理了OCR领域的各类数据集,为相关研究人员和开发者提供参考。
场景文本数据集
场景文本识别是OCR技术的一个重要应用方向,主要处理自然场景中的文字信息。以下是一些常用的场景文本数据集:
ICDAR系列数据集
ICDAR(International Conference on Document Analysis and Recognition)作为文档分析与识别领域的顶级会议,发布了多个具有影响力的数据集:
-
ICDAR 2003/2005: 包含258张训练图像和251张测试图像,主要用于文本检测和识别任务。
-
ICDAR 2011-2015 Born-Digital Images: 包含410张训练图像和141张测试图像,针对网页、邮件等数字生成的图像。
-
ICDAR 2013 Focused Scene Text: 包含229张训练图像和233张测试图像,聚焦于自然场景中的文本。
-
ICDAR 2015 Incidental Scene Text: 包含1000张训练图像和500张测试图像,难度更高,文本可能是倾斜或弯曲的。
-
ICDAR 2017/2019 MLT: 多语言场景文本数据集,包含中文、英文、日文等多种语言。
这些数据集涵盖了不同难度和场景的文本识别任务,是OCR领域的基准数据集。
COCO-Text
COCO-Text是基于Microsoft COCO数据集构建的大规模场景文本数据集。它包含63,686张图像,超过145,000个文本实例,涵盖了各种自然场景。
Total-Text
Total-Text数据集专注于弯曲文本的检测和识别。它包含1555张图像,共11,459个文本实例,文本形状多样,包括水平、多方向和弯曲文本。
SCUT-CTW1500
SCUT-CTW1500数据集包含1500张图像,专门用于任意形状文本的检测。其中包含超过10,000个文本实例,涵盖了英文和中文。
Chinese Text in the Wild (CTW)
CTW是一个大规模的中文场景文本数据集,包含32,285张图像和1,018,402个中文字符标注。它涵盖了各种复杂场景,对中文OCR研究具有重要价值。
文档文本数据集
文档文本识别是OCR的传统应用领域,主要处理扫描文档、表格等结构化文本。以下是一些常用的文档文本数据集:
FUNSD
FUNSD(Form Understanding in Noisy Scanned Documents)数据集专注于表单理解任务。它包含199份带注释的表单,共9,707个单词实例,适用于文档布局分析和信息提取任务。
SROIE
SROIE(Scanned Receipts OCR and Information Extraction)数据集包含626张收据图像,用于收据OCR和关键信息提取任务。
NAF
NAF(Name and Address Form)数据集包含682份表单,主要用于姓名地址等结构化信息的提取任务。
DDI-100
DDI-100(Distorted Document Images)是一个包含约100,000张带有各种扭曲的文档图像的数据集,用于研究文档图像校正和OCR任务。
手写文本数据集
手写文本识别是OCR技术的一个重要分支,具有较高的应用价值。以下是一些常用的手写文本数据集:
IAM Handwriting Database
IAM是一个广泛使用的英文手写数据集,包含1539份手写文档的13353行文本。
KHATT
KHATT(KFUPM Handwritten Arabic TexT)是一个阿拉伯语手写文本数据集,包含2000多名书写者的样本,共4000多页文本。
CASIA-HWDB
中科院自动化所开发的中文手写数据库,包含超过320万个中文字符样本,是中文手写识别研究的重要数据集。
IIT-INDIC-HW-WORDS
IIT-INDIC-HW-WORDS是一个大规模的印度语系手写单词数据集,包含多种印度语言,共有872,000个单词实例。
视频文本数据集
随着视频内容的爆炸式增长,视频文本识别也成为OCR的一个重要研究方向。以下是一些视频文本数据集:
ICDAR 2013 Text in Videos
包含25个训练视频和24个测试视频,用于视频中的文本检测和识别任务。
RoadText-1K
RoadText-1K是一个用于自动驾驶场景的道路文本数据集,包含1000个视频片段,共30万帧图像。
LSVT
LSVT(Large-scale Street View Text)是一个大规模的中文街景文字数据集,包含30,000个训练样本和20,000个测试样本。
合成数据集
除了真实场景的数据集,研究人员还开发了多个合成数据集,用于扩充训练数据:
-
Synth90k: 包含900万张合成文本图像,常用于文本识别预训练。
-
SynthText: 在自然图像上合成的文本数据集,包含80万张图像。
-
UnrealText: 基于虚幻引擎生成的合成场景文本数据集。
这些合成数据集在提升模型泛化能力方面发挥了重要作用。
结论
本文全面介绍了OCR领域的各类数据集,涵盖了场景文本、文档文本、手写文本、视频文本等多个方向。这些数据集为OCR技术的研究与应用提供了丰富的资源。研究人员可以根据具体的应用场景和研究目标,选择合适的数据集进行模型训练和评估。
随着深度学习技术的发展,大规模高质量的数据集将继续推动OCR技术的进步。未来,我们期待看到更多针对特定场景和语言的专业数据集,以及融合多模态信息的复杂数据集,为OCR技术的进一步发展提供支持。