#语料库
pycantonese
PyCantonese是一个专为粤语语言学和自然语言处理设计的Python库，具有语料库访问、粤拼转换、文本解析、分词和词性标注等功能。项目提供详细文档和快速入门，支持通过PyPI安装，并有活跃的社区持续优化。
beto
此页面介绍了一个基于大型西班牙语语料库训练的BERT模型BETO，提供无区分大小写和区分大小写的Tensorflow和Pytorch版本。BETO应用全词掩蔽技术，在多项西班牙语基准测试中表现优异，并与多语言BERT及其他模型进行了对比。用户可以在HuggingFace Model Repository下载BETO模型，并通过HuggingFace Transformers库轻松使用。此外，页面还包含示例代码和引用信息。
Chinese-Word-Vectors
该项目集成了多种中文词向量模型，涵盖稠密和稀疏表示方法，以及词、n-gram、字符等上下文特征。同时提供中文类比推理数据集CA8和评估工具包，便于模型质量评估。这些预训练资源可应用于多种自然语言处理任务，为相关研究和开发工作提供了有力支持。
llama-lora-fine-tuning
本项目展示了在单个16G GPU上微调vicuna-7b模型的方法。通过采用LoRA、半精度模型和8位加载等技术，有效降低了内存需求。项目详细说明了环境配置、模型准备、语料处理和微调过程，并提供P100和A100的性能数据。这种方法使研究者和开发者能在有限硬件资源下进行大型语言模型的定制化训练。
ua-gec
UA-GEC是一个经专业注释的乌克兰语语法错误纠正和流畅性编辑语料库。该语料库提供GEC+Fluency和GEC-only两个版本，适用于不同研究场景。语料库包含33,735个句子，涵盖从日常聊天到正式写作的多个领域。专业校对人员对语料进行了全面注释，包括流畅性、语法、标点和拼写等方面的错误。UA-GEC可用于乌克兰语GEC系统的开发和评估，同时也支持多语言和低资源NLP、形态丰富语言、文档级GEC以及流畅性纠正等研究领域。
notram
挪威国家图书馆主导开发的NoTraM项目为挪威语和北欧语言构建了基于transformer的先进语言模型。项目发布了规模可媲美英语数据集的挪威语语料库，涵盖报纸、书籍和政府文件等多种来源。此外，项目提供预训练模型、微调模型和语料库处理工具，为挪威语自然语言处理研究奠定了坚实基础。
UD_English-EWT
UD英语网络树库包含254,820个单词和16,622个句子,涵盖博客、新闻组、电子邮件等多种网络文本。语料采用CoNLL-U格式,依存关系经人工校正,部分双重标注。该语料库遵循通用依存关系规范,为自然语言处理研究提供了高质量的英语语言资源。
GermanWordEmbeddings
GermanWordEmbeddings是一个开源的德语词向量模型训练与评估工具包。该工具包基于gensim的word2vec实现,提供了从语料库获取、预处理到模型训练和评估的完整流程。工具包支持语法和语义特征评估,可用于德语自然语言处理研究。项目还提供了一个基于德语维基百科和新闻文章训练的预训练模型。
awesome-hungarian-nlp
该项目整理了丰富的匈牙利自然语言处理资源,包括开源工具、语言模型和数据集。涵盖分词、形态分析、词性标注等多项NLP任务,并收录预训练词嵌入和Transformer模型。此外还包含语料库、语言学资源等。内容全面,适合研究人员和开发者参考使用。