UD_English-EWT项目简介
UD_English-EWT(英语网络树库)是一个基于网络文本的英语通用依存关系树库。该项目由斯坦福大学开发和维护,旨在为英语自然语言处理研究提供高质量的语法分析数据集。
数据来源与规模
UD_English-EWT的语料来源于五种网络文本类型:博客、新闻组、电子邮件、评论和Yahoo!问答。语料库共包含254,820个单词和16,622个句子,为英语依存句法分析提供了丰富的训练和测试数据。
标注方法与质量控制
该树库的标注过程采用了以下步骤:
- 首先使用自动方法将原始文本转换为斯坦福依存关系格式。
- 然后人工校正为通用依存关系(Universal Dependencies)格式。
- 所有基本依存关系均经过单人标注,部分数据还进行了双人标注。
- 后续还进行了多轮校对以提高一致性。
其他方面如通用词性(Universal POS)、特征和增强依存关系等,主要是自动生成,仅进行了有限的人工校正。
数据格式与兼容性
UD_English-EWT采用CoNLL-U格式,与通用依存关系项目定义的标准完全兼容。数据文件包含原始句子文本、分词、词性、词形还原、语法特征以及依存关系等多层面的标注信息。
版本更新与维护
UD_English-EWT项目一直在持续更新和完善中。最新的2.14版本(2024年5月发布)主要有以下改进:
- 为约700个缩减关系从句添加了增强边缘
- 在MISC属性中添加了关系从句类型标记
- 修正了动词标签和特征的错误
- 改进了网络地址的处理方式
- 完善了多词表达式的标注
项目团队欢迎研究者对数据进行错误报告和改进建议,以不断提高树库的质量。
数据使用许可
UD_English-EWT的标注数据采用知识共享署名-相同方式共享4.0国际许可协议(CC BY-SA 4.0)授权。使用该数据集时,需要注明数据来源,并以相同的许可方式共享。
原始文本来自多个来源,部分属于公共领域,部分可能受版权保护。使用时请注意遵守相关规定。
项目贡献者
UD_English-EWT项目由斯坦福大学自然语言处理小组的多位研究人员共同完成,主要贡献者包括:
- Natalia Silveira
- Timothy Dozat
- Sebastian Schuster
- Miriam Connor
- Marie-Catherine de Marneffe
- Nathan Schneider
- 等
项目得到了Google公司的部分资助支持。
引用与致谢
如果您在研究中使用了UD_English-EWT数据集,建议引用以下论文:
@inproceedings{silveira14gold,
year = {2014},
author = {Natalia Silveira and Timothy Dozat and Marie-Catherine de
Marneffe and Samuel Bowman and Miriam Connor and John Bauer and
Christopher D. Manning},
title = {A Gold Standard Dependency Corpus for {E}nglish},
booktitle = {Proceedings of the Ninth International Conference on Language
Resources and Evaluation (LREC-2014)}
}
总结
UD_English-EWT作为一个高质量的英语依存句法树库,为自然语言处理研究提供了宝贵的语料资源。它采用统一的标注规范,支持跨语言的对比研究。该项目的持续更新和开放共享精神,也为语言资源建设树立了良好的典范。
希望这个树库能够推动英语自然语言处理技术的进步,为更多创新应用提供基础支持。欢迎感兴趣的研究者下载使用,并为项目贡献自己的力量。
