访问官网
Github
文档
论文通用依存关系 - 英语依存树库 通用依存关系英语网络树库 v2.14 -- 2024-05-15 https://github.com/UniversalDependencies/UD_English-EWT
概述
这是一个基于英语网络树库LDC2012T13(https://catalog.ldc.upenn.edu/LDC2012T13)源材料构建的英语通用依存关系黄金标准语料库。
简介
该语料库包含254,820个单词和16,622个句子,取自五种网络媒体类型:博客、新闻组、电子邮件、评论和Yahoo!问答。有关句子来源的更多详细信息,请参阅LDC2012T13文档。这些树结构最初被自动转换为斯坦福依存关系,然后经人工校正为通用依存关系。所有基本依存注释均经过单人标注,其中一部分经过双人标注,随后进行了校正以提高一致性。树库的其他方面,如通用词性、特征和增强依存关系,主要是通过自动方式完成的,只进行了非常有限的人工校正。
许可/版权
通用依存关系英语网络树库注释 © 2013-2021 斯坦福大学理事会。 保留所有权利。
通用依存关系英语网络树库的注释和数据库权利依据 知识共享署名-相同方式共享 4.0 国际许可协议进行许可。
您应该已经收到了随附于本作品的许可协议。如果没有,请参阅http://creativecommons.org/licenses/by-sa/4.0/。
底层文本来自为LDC英语网络树库收集的各种来源。部分内容属于公共领域。 某些部分可能 © 2012 Google Inc., © 2011 Yahoo! Inc., © 2012 宾夕法尼亚大学理事会 和/或 © 其他原始作者。
结构
该目录包含一个使用通用依存关系注释的句子语料库。语料库包含254,820个单词和16,622个句子,取自各种网络媒体,包括博客、新闻组、电子邮件、评论和Yahoo!问答;有关句子来源的更多详细信息,请参阅LDC2012T13文档。这些树结构最初被自动转换为斯坦福依存关系,然后经人工校正为通用依存关系。所有依存注释均经过单人标注,其中一部分经过双人标注,标注者间一致性约为96%。句子ID包含原始LDC2012T13文件名的体裁和文件名。
该语料库兼容为通用依存关系定义的CoNLL-U格式。请参阅:
https://universaldependencies.org/format.html
依存关系分类可在通用依存关系网站上找到:
http://www.universaldependencies.org
对于v2的转换,我们进行了自动转换并进行了广泛的抽查,同时对模棱两可的情况进行了人工裁决。
大多数增强依存关系是通过运行Schuster和Manning (2016)转换器的改编版本自动获得的。这些依存关系尚未经过人工检查。v2.14中为省略的关系从句添加了增强依存关系。
与UD的偏差
英语UD树库的2.14版本在几乎所有方面都符合UD指南,但仍存在以下偏差:
- UD依存关系
flat主要仅用于人名。 - 日期的注释不一致。
更新日志
2024-05-15 v2.14
亮点:
- 关系从句
- 为省略的关系从句添加了约700条增强边(#392)(感谢@xiulinyang!)
- 在MISC的
Cxn属性中添加了关系从句类型(#474)- 例如
Cxn=rc-wh-nsubj:pass(被动主语WH),Cxn=rc-red-obj(省略宾语),Cxn=rc-red-obl-pstrand(带介词分离的省略斜格),Cxn=rc-free-obj_xcomp(自由关系从句,嵌套在xcomp下的宾语) - 由not-to-release/tools/rc-types.sh生成 - 见代码文档
- 参见UCxn项目(一个更大的提议在UD中添加构式注释的项目, 尽管目前这种用于关系从句的用法仅限于EWT)
- 例如
- 将列表项枚举符(
LS)作为discourse附加(#518) - 动词标签/特征
- 名词特征:为复数名词实现
Number=Ptan(docs#999) - 改进了网址的处理(#440, #487)
- 多词表达式
- 用
goeswith处理带空格的电子邮件地址 - 用
flat处理带空格的电话号码
- 用
2023-11-15 v2.13
亮点:
- 结构
- 采用子类型
obl:agent表示被动语态中的by短语,并更广泛地应用Voice=Pass特征以区分过去分词形式的被动用法和主动完成时用法(#290) - 移除
flat:foreign的使用,与大多数其他英语树库保持一致(#459) - 实现关于充分/过度构式的新指南(#423)
- 使用Udapi标准化
punct附加(感谢@martin-popel)
- 采用子类型
- 特征
- 由于省略而孤立的"have"和"do"使用AUX(而非VERB)(#403)
- 将缺少撇号的动词缩写标记为拼写错误(由@rhdunn标记:#443)
- 广泛清理基于UPOS的内容
2023-05-15 v2.12
亮点:
2022-11-15 v2.11
亮点:
- 根据多个主语政策实施
:outer(#310) - 实施
advcl:relcl(#346) - 实施英语代词的修订指南(词元,特征)(问题)
- 修订WH副词在从句中的附加,改为
advmod而非mark(#88) - 改进数值/实体的词元/特征
- 将"etc."标记为
NOUN(#353) - 添加neaten.py,实现英语特定的验证规则
2022-05-15 v2.10
亮点:
- 修复所有验证错误
- 实施新的
goeswith政策(#314) - 对"X so Y"等使用
parataxis(#313)
2021-11-15 v2.9
- 修复所有验证错误
- 对各种词语和结构的注释进行了许多其他改进
2021-05-15 v2.8
- 修复了许多错误的词元、词性标记和关系
- 重新分析了许多依存关系以符合UD验证
- 重新标记名称中的词,将PROPN限制在真正的名词上
- 修复了某些元数据问题
- 修复了一些拼写错误,添加了CorrectForms
- 为缩写/缩略形式添加了缺失的多词标记
- 为表达性拼写添加了Style=Expr特征
- 修复了许多错误的非投射图,重新分析为投射图
- 将列表项重新注释为NUM而非X
2020-11-15 v2.7
- 为缩略动词形式添加了适当的多词标记
- 修复了一些错误的词元和词性标记
2020-05-15 v2.6
- 添加了段落边界
- 修复了一些错误的词元和词性标记
- 修复了一些
goeswith依存关系的方向性
2019-11-15 v2.5
- 修复了各种句法问题
- 修复了CoNLL-U语法错误
2019-05-15 v2.4
- 修复了一些错误的词元和词性标记
- 修复了各种句法问题
- 修复了一些标点附加
- 修复了格式错误的增强图
2018-11-15 v2.3
- 修复了几个词元 2018年4月15日 v2.2版本
- 仓库名从UD_English更改为UD_English-EWT
- 自动添加增强依存关系(这些尚未经过人工检查!)
- 修正了一些错误的词条和词性标注
- 修正了各种句法问题
2017年11月15日 v2.1版本
- 修正了一些错误的词条、词性标注
- 修正了各种句法问题
- 根据CONLL-U v2格式在"DEPS"列中添加了基本依存关系
2017年2月15日 v2.0版本
- 更新树库以符合v2指南
- 修正了一些错误的词条
- 修正了各种句法问题
- 在增强表示中为缺失结构添加了空节点
2016年11月15日 v1.4版本
- 将融合的限定词-名词代词(如"somebody"、"nothing")的词性标注改为"PRON"
- 在CoNLL-U文件中添加了原始的未分词句子
- 修正了一些词性错误、特征和错误的词条
- 修正了少数句子中的各种句法问题
2016年5月15日 v1.3版本
- 改进了"WDT"到UPOS的映射
- 将"n't"的词条更正为"not"
- 修正了"advcl"、"ccomp"和"parataxis"之间的一些错误
- 修正了开发集和训练集之间重复句子的不一致分析
- 修正了少数句子中的各种句法问题
2015年11月15日 v1.2版本
- 错误修复：删除了一些词条中的"_NFP"后缀
- 修正日期注释以采用UD标准
- 从单词标记中移除"("和")"的转义(XPOSTAG仍为"-LRB-"和"-RRB-")
- 提高了"xcomp"关系的精确度
- 提高了"name"关系的召回率
- 更正了缩略助动词的词条
- 更正了代词性使用的this/that/these/those的UPOS标签(从"DET"改为"PRON")
- 更正了从属连词的UPOS标签(从"ADP"改为"SCONJ")
- 更正了一些主要动词的UPOS标签(从"AUX"改为"VERB")
贡献
为帮助改进语料库，请告知我们您发现的任何错误。最好的方式是在以下地址提交GitHub问题：
https://github.com/UniversalDependencies/UD_English-EWT/issues
我们也欢迎拉取请求。如果您想进行编辑，请修改"not-to-release/sources"目录中各个文件的树，而不是直接更改"en_ewt-ud-{dev,test,train}.conllu"。
致谢
通用依存英语网络树库的注释工作由以下人员完成(按贡献大小排序)：
- Natalia Silveira
- Timothy Dozat
- Sebastian Schuster
- Miriam Connor
- Marie-Catherine de Marneffe
- Nathan Schneider
- Ethan Chi
- Samuel Bowman
- Christopher Manning
- Hanzhi Zhu
- Daniel Galbraith
- John Bauer
CoNLL-U文件的创建，包括计算UPOS、特征和词条信息，主要由以下人员完成：
- Sebastian Schuster
- Natalia Silveira
通用依存英语网络树库的构建部分由Google公司的赠款资助，我们在此表示感谢。
引用
如果您使用通用依存英语网络树库，我们建议您引用以下论文：
@inproceedings{silveira14gold,
year = {2014},
author = {Natalia Silveira and Timothy Dozat and Marie-Catherine de
Marneffe and Samuel Bowman and Miriam Connor and John Bauer and
Christopher D. Manning},
title = {A Gold Standard Dependency Corpus for {E}nglish},
booktitle = {Proceedings of the Ninth International Conference on Language
Resources and Evaluation (LREC-2014)}
}
元数据
=== 机器可读元数据(请勿删除!) ================================
数据可用时间：UD v1.0
许可证：CC BY-SA 4.0
包含文本：是
体裁：博客 社交 评论 电子邮件 网页
词条：自动校正
UPOS：转换并校正
XPOS：手动原生
特征：转换并校正
关系：手动原生
贡献者：Silveira, Natalia; Dozat, Timothy; Manning, Christopher; Schuster, Sebastian; Chi, Ethan; Bauer, John; Connor, Miriam; de Marneffe, Marie-Catherine; Schneider, Nathan; Bowman, Sam; Zhu, Hanzhi; Galbraith, Daniel; Bauer, John
贡献：此处来源
联系方式：syntacticdependencies@lists.stanford.edu
===============================================================================
