#NLP工具包
awesome-huggingface - 综合NLP开源项目与Hugging Face集成工具
Hugging Facetransformers自然语言处理机器学习NLP工具包Github开源项目
该项目列出了多个优秀的开源项目和应用,均与Hugging Face库集成,为各类NLP任务提供有效的解决方案。内容涵盖官方库教程、NLP工具包、文本表示、推理引擎、模型扩展、模型压缩、对抗攻击、风格转换、情感分析、语法纠正、翻译、知识与实体、语音处理、多模态学习、强化学习、问答系统、推荐系统、评估工具、神经搜索、云支持和硬件支持等多个领域。此项目能够帮助用户找到并使用适合的工具和库,提升自然语言处理任务的效率和效果。
hazm - 波斯语自然语言处理的全能工具
HazmNLP工具包波斯语处理特征使用指南Github开源项目
Hazm是一个Python库,用于处理波斯语文本的自然语言处理任务,功能包括文本标准化、分词、词形还原、词性标注和依存关系解析等。使用这些功能可以分析、处理和理解波斯语文本。Hazm还支持读取流行的波斯语语料库,并创建词和句子的嵌入向量。其易于安装和多种预训练模型的选择,大大简化了波斯语NLP任务。
EasyNLP - 综合性易用的NLP工具包,支持大规模预训练模型
EasyNLPNLP工具包分布式训练知识蒸馏多模态预训练模型Github开源项目
EasyNLP是一个由阿里巴巴发布的自然语言处理工具包,基于PyTorch架构,支持分布式训练和多种NLP算法。它结合知识蒸馏和少样本学习技术,支持大规模预训练模型的部署,并支持CLIP和DALLE等多模态预训练模型,与阿里云PAI平台无缝集成,提供统一的模型训练和部署框架,广泛应用于多个业务场景。