#NLP工具
trankit - 轻量级的多语言自然语言处理Python工具包,支持多个语言的预训练模型
Trankit多语言NLP工具TransformerPythonGithub开源项目
Trankit是一个基于Transformer架构的轻量级Python工具包,支持多语言自然语言处理,包含针对56种语言的90个预训练流水线。它引入了自动模式,多语言输入可自动检测。Trankit在多个自然语言处理任务上表现优异,超过Stanza等主流工具包,并保持高效的内存使用和处理速度。用户无需编程经验即可通过简便的命令行界面使用,还可定制流水线。
promptsource - 自然语言提示工具包:支持零样本学习的创建与使用
PromptSourceP3自然语言提示NLP工具Hugging FaceGithub开源项目
PromptSource是一款工具包,旨在创建、共享和使用自然语言提示。支持数据集到目标输出的映射,并包含不断扩展的提示库。通过简单的API访问数千个提示。由BigScience项目开发,强调跨任务训练提升零样本性能,提供Web界面和文档,适应多语言数据集。