#Hugging Face

PaddleHub - 多领域应用的跨平台AI模型服务平台
PaddleHubAI模型ERNIE-ViLGStable DiffusionHugging FaceGithub开源项目
PaddleHub提供超过400种高质量AI模型,覆盖计算机视觉、自然语言处理和语音识别等领域。用户仅需3行代码即可进行模型预测,同时支持模型即服务,通过简单命令即可部署。最新版本v2.3.0引入了ERNIE-ViLG、Disco Diffusion和Stable Diffusion等模型,并支持在HuggingFace平台上发布。PaddleHub兼容Linux、Windows和MacOS,适合多平台开发。
text-generation-inference - 生产级高性能文本生成推理工具
Text Generation InferenceHugging Face大语言模型分布式追踪量化Github开源项目
Text Generation Inference (TGI) 是一个部署和服务大型语言模型的工具包。它支持Llama、Falcon、StarCoder、BLOOM、GPT-NeoX等流行的开源模型,提供简便的启动器、分布式追踪、张量并行、多GPU推理加速、令牌流等特性。TGI还支持权重量化和安全张量加载,具备自定义提示生成和微调功能,兼容Nvidia、AMD、Inferentia、Intel GPU、Gaudi和Google TPU等硬件平台。
tortoise - 全新世代的多声音文本转语音技术,具备高度真实的语调和韵律
Tortoise TTS文本转语音GitHubHugging Face多声部能力Github开源项目热门
Tortoise TTS 是一款先进的文本转语音软件,专为提供多声音功能和高度真实的语调与韵律设计。该项目支持各种安装方式,包括pip和Docker,并提供了完善的本地安装指南。此外,Tortoise TTS 还在Hugging Face上提供在线演示,用户可体验其强大功能。它使用了自回归解码器和扩散解码器,大幅提升了语音生成的速度和质量。无论是个人用户还是开发者,都可通过详细的使用指南迅速上手和部署。
deep-rl-class - Hugging Face深度强化学习课程资源与教程
Hugging Face深度强化学习课程人工智能Reinforcement LearningGithub开源项目
本页面提供Hugging Face深度强化学习课程的全部资源,包括mdx文件和教程笔记。学习者可获取课程大纲、注册信息及详细介绍,适合研究AI和机器学习的人员深入了解深度强化学习的核心概念和应用技术。
Hugging Face - 源代码开源平台
热门AI开发模型训练AI工具机器学习Hugging Face开源企业解决方案合作平台
Hugging Face是开放源码机器学习平台,支持模型、数据集与应用的无限制托管,包含丰富的模态支持,已服务于超过5万家机构。
Deep_reinforcement_learning_Course - 掌握Stable Baselines3、RL Baselines3 Zoo、Sample Factory和CleanRL等库的使用的深度强化学习课程
AI训练RL库训练代理Github开源项目Deep Reinforcement LearningHugging Face
免费深度强化学习课程,结合理论与实践,掌握Stable Baselines3、RL Baselines3 Zoo、Sample Factory和CleanRL等库的使用。训练智能体在SnowballFight、Huggy the Doggo、MineRL(Minecraft)、VizDoom(Doom)及经典环境(如Space Invaders、PyBullet)中运行。发布和下载社区智能体,并参与挑战与其他团队及AI对抗。
mergekit - 合并预训练语言模型的工具
mergekitHugging Face模型融合LlamaGPT-NeoXGithub开源项目
MergeKit是一款合并预训练语言模型的工具,支持Llama、Mistral、GPT-NeoX等多种模型。该工具采用先进的方法,在资源有限的情况下执行复杂的合并操作。MergeKit可以在CPU或最低8GB VRAM环境下运行,支持多种合并算法,如线性插值、任务算术、TIES等。还提供图形用户界面并集成到Hugging Face Spaces,简化了模型合并流程。
basaran - 开源的OpenAI文本生成API替代工具
BasaranHugging FaceDockerOpenAIPythonGithub开源项目
Basaran是一款开源工具,旨在替代OpenAI的文本生成API,支持Hugging Face Transformers模型。其主要功能包括流式生成、多GPU支持、与OpenAI API的兼容性等。用户无需修改代码即可使用最新的开源模型,适用于多种解码策略和实时进度显示。
LLM-Finetuning - 大型语言模型高效微调指南
PEFTLoRAHugging Face大型语言模型微调Github开源项目
了解如何使用LoRA和Hugging Face Transformers库高效微调大型语言模型。项目提供详细的教程笔记本,包括在Colab中微调Llama 2、GPT-Neo-X-20B、MPT-Instruct-30B等模型的指导和代码示例。无论新手或专家,均可找到实用资源,提升语言模型性能。欢迎贡献和提交问题,共同完善此开源项目。
LlamaGen - 自回归模型在图像生成中的应用和优势
LlamaGen图像生成自回归模型AR模型Hugging FaceGithub开源项目
LlamaGen项目展示了自回归模型在图像生成中的潜力,通过无偏视觉信号和大规模数据训练,实现了媲美扩散模型的性能。该项目发布了多种图像tokenizer和生成模型,支持从100M到3B参数的多种配置,并提供在线演示和高效的vLLM服务框架。访问项目页面和在线demo,体验这些创新模型的强大功能。
ReplitLM - ReplitLM模型使用、训练与微调指南
ReplitLMreplit-code-v1-3bHugging FaceLLM FoundryComposerGithub开源项目
ReplitLM模型使用指南和配置文件,涵盖模型下载、Hugging Face Transformers集成、训练与微调及指令调优。内容不断更新,提供GPU支持的在线演示和LLM Foundry优化的训练方法。包括详细的安装步骤、数据集转换方法及运行配置示例,帮助用户快速掌握并实现自定义模型训练。
LLaVA-pp - 结合先进模型的视觉能力扩展与演示
LLaVA++LLaMA-3Phi-3MBZUAIHugging FaceGithub开源项目
LLaVA-pp项目整合了Phi-3 Mini Instruct和LLaMA-3 Instruct模型,提升了视觉模型的能力。用户可通过Hugging Face Spaces和在线演示了解LLaMA-3-V和Phi-3-V的更新和结果。项目包含多种预训练及微调模型,支持学术任务和指令跟随应用。
transformers - 机器学习库,覆盖文本、视觉与音频处理
Hugging Face人工智能自然语言处理机器学习多模态Github开源项目
探索🤗 Transformers——一个功能全面的机器学习库,覆盖文本、视觉与音频处理。该库提供数千种可对接JAX、PyTorch或TensorFlow的预训练模型,适用于多种语言处理与多模态任务。主要功能包括: - 文本分类 - 信息提取 - 问答系统 - 摘要生成 - 翻译 - 文本生成 此外,还能处理表格问答、OCR及视觉问答等多模态任务。Transformers库易于使用,支持模型间的快速切换与无缝整合。
datasets - 最大的 ML 模型即用型数据集中心,具有快速、易用且高效的数据操作工具
Hugging Face数据集机器学习APIApache ArrowGithub开源项目
🤗 Datasets是一个高效的轻量级数据处理库,支持一行代码完成数据集的下载和预处理。库支持Numpy、Pandas、PyTorch、TensorFlow和JAX等框架,并提供智能缓存及大规模数据集的流式处理,有效减轻内存限制的压力,简化机器学习和数据分析的前置工作。
Large-Language-Model-Notebooks-Course - 提供了实用的OpenAI与Hugging Face模型操作经验
Large Language ModelsOpenAIHugging FaceLangChain项目Github开源项目
该课程为学习者提供了实用的OpenAI与Hugging Face模型操作经验。内容覆盖从聊天机器人、代码生成等基技术到结构化大型项目实操,适合企业技术人员和个人开发者。
local-llm-function-calling - Hugging Face文本生成模型的参数约束工具
local-llm-function-callingHugging FaceJSON schematext generationGeneratorGithub开源项目
local-llm-function-calling项目使Hugging Face文本生成模型能够遵循JSON schema,并轻松制定函数调用提示。该项目的Generator类简化了文本生成过程,确保输出符合提供的提示和JSON schema。此外,还支持用户自定义约束和提示结构,以优化数据提取和格式化。
bonito - 从无标注文本到定制化指令调优数据集的转换模型
Bonito指令调整数据生成Hugging Face开源合成数据集Github开源项目
Bonito:一个开源模型,用于生成用于指令调优的训练数据集,将无标注文本转化为适应多种任务需求的数据集。基于Hugging Face的Transformers和VLLM库,Bonito支持数种任务类型,包括问题生成和自然语言推理,适合学术研究及技术开发使用。
awesome-japanese-nlp-resources - 日语NLP资源大全,包括Python库、工具、模型与数据集
awesome-japanese-nlp-resourcesPythonNLPHugging FaceJapaneseGithub开源项目
本项目提供全面的日语自然语言处理(NLP)资源,包括Python库、语言模型、词典和语料库等。收录了605个GitHub仓库和820个Hugging Face模型及数据集,并附带一个搜索工具方便查找更新信息。项目定期更新,最新包括Mozc UT地名词典和Kana-Kanji转换模块。资源涵盖形态分析、句法分析、情感分析及机器翻译等,是日语NLP研究和应用的重要参考。
phi3-Chinese - 小体积高性能的phi3模型集合
phi3phi3-miniModelScopeHugging Face训练变体Github开源项目
phi3-Chinese收录多种phi3训练变体,小体积高性能,适用于手机部署。提供Phi-3-mini-128k-instruct-Chinese中文版和其他英文原版模型的下载链接,并包含训练、推理和部署的详细教程。尽管目前版本存在词表过小和实际效果与预期不符的问题,但仍适用于轻量级垂直任务。
ArxivDigest - 基于大语言模型的个性化arXiv论文推荐系统
ArXivGPT-3.5-turbo-16kOpenAISendGridHugging FaceGithub开源项目
此项目利用大语言模型根据用户的研究兴趣和自然语言描述,提供个性化的arXiv最新论文摘要和推荐。用户可以通过Hugging Face平台使用服务,并通过OpenAI API密钥设置每日订阅,生成定制化的HTML摘要并通过SendGrid API发送邮件。该工具有效节省了科研人员筛选和阅读论文标题和摘要的时间,提高了研究效率。
LLaMA-LoRA-Tuner - 使用LLaMA-LoRA Tuner便捷地评估和微调低秩自适应的LLaMA模型
LLaMA-LoRA Tuner模型微调Google ColabHugging FaceSkyPilotGithub开源项目
LLaMA-LoRA Tuner通过Google Colab、一键启动和多云服务支持,简化了LLaMA模型的评估和微调。用户可在Hugging Face查看演示,支持通过Google Drive和JSON格式加载和存储数据。此项目实现了多基础模型切换和多训练数据集格式支持,新增聊天界面和演示模式以优化新模型展示。
pretraining-with-human-feedback - 基于人类偏好预训练的语言模型代码库
Hugging Face人类偏好预训练toxicity多任务Github开源项目
该项目为根据人类偏好预训练语言模型提供了一套基于Hugging Face Transformers和wandb的工具。项目实现了五种预训练目标,通过对训练数据注释并使用这些目标函数提升模型性能,包括毒性检测和隐私信息识别等任务。项目还提供详细的配置文件和评估方式指导。
whisper-playground - 多语言实时语音转文字程序的快速搭建指南
Whisper PlaygroundPyannoteDiartCondaHugging FaceGithub开源项目
借助faster-whisper、Diart和Pyannote,构建支持99种语言的实时语音转文字应用程序。可以通过在线演示版直接体验,并依据清晰的设置指南迅速启动。该项目支持调整多种参数如模型大小、语言选择和转录方法,优化转录体验。项目依赖于Hugging Face Hub上的Pyannote模型,需先接受相应使用条款。提供详细的安装步骤和故障排查指导,方便解决常见问题。
awesome-huggingface - 综合NLP开源项目与Hugging Face集成工具
Hugging Facetransformers自然语言处理机器学习NLP工具包Github开源项目
该项目列出了多个优秀的开源项目和应用,均与Hugging Face库集成,为各类NLP任务提供有效的解决方案。内容涵盖官方库教程、NLP工具包、文本表示、推理引擎、模型扩展、模型压缩、对抗攻击、风格转换、情感分析、语法纠正、翻译、知识与实体、语音处理、多模态学习、强化学习、问答系统、推荐系统、评估工具、神经搜索、云支持和硬件支持等多个领域。此项目能够帮助用户找到并使用适合的工具和库,提升自然语言处理任务的效率和效果。
How-to-use-Transformers - 介绍Transformers库的自然语言处理应用教程
TransformersHugging FacePython库自然语言处理BERTGithub开源项目
该项目提供了由Hugging Face开发的Transformers库的快速入门教程,支持加载大部分预训练语言模型。教程涵盖自然语言处理背景知识、Transformers基础和实战案例,包括pipelines、模型与分词器使用、微调预训练模型及序列标注任务等。示例代码展示了句子对分类、命名实体识别、文本摘要等任务的实现,适合机器学习和NLP开发者参考。
transformers-tutorials - Transformers模型在自然语言处理中的应用教程
PyTorchTransformersNLPBERTHugging FaceGithub开源项目
本项目提供了关于如何使用Transformers模型在自然语言处理任务中进行精细调优的详细教程,包括文本分类、情感分析、命名实体识别和摘要生成等案例。教程旨在帮助用户掌握应用最新NLP技术的技巧,并提供配套的Python代码示例和工具指南。
dataset-viewer - 全面的数据集浏览支持与管理工具
Hugging Facedataset viewerAPIGitHubbugsGithub开源项目
Dataset viewer 通过 API 提供预处理数据,方便用户浏览和管理 Hugging Face Hub 上的所有数据集。用户可分页查看数据,每页包含 100 行,并通过底部按钮进行导航、过滤、搜索数据和查看基本统计信息。前端组件未开源,遇到问题或需要新功能,可以通过 GitHub 反馈。用户还可通过贡献想法、回答问题、报告错误与改进建议来支持项目改进。
course - 学习如何将Transformers应用于各类自然语言处理任务
Hugging FaceTransformers自然语言处理免费开源翻译Github开源项目
此课程讲解如何将Transformers应用于自然语言处理及其他任务,并介绍Hugging Face生态系统的使用,包括Transformers、Datasets、Tokenizers和Accelerate工具,以及Hugging Face Hub。课程完全免费且开源,支持多语言翻译学习,旨在推广机器学习。对于翻译课程感兴趣的用户,可在GitHub上开issue并加入Discord讨论。
promptsource - 自然语言提示工具包:支持零样本学习的创建与使用
PromptSourceP3自然语言提示NLP工具Hugging FaceGithub开源项目
PromptSource是一款工具包,旨在创建、共享和使用自然语言提示。支持数据集到目标输出的映射,并包含不断扩展的提示库。通过简单的API访问数千个提示。由BigScience项目开发,强调跨任务训练提升零样本性能,提供Web界面和文档,适应多语言数据集。
fashion-clip - 专为时尚领域优化的对比语言视觉学习模型
FashionCLIPCLIPHugging Face模型时尚行业Github开源项目
FashionCLIP是一个为时尚行业优化的CLIP模型,用于提升商品检索、分类和时尚分析的表现。通过超过70万对图像和文本数据进行微调,FashionCLIP在零样本场景下表现出色。更新版FashionCLIP 2.0采用更多训练数据,显著提高了FMNIST、KAGL和DEEP数据集的性能。项目提供开源代码和模型权重,可在Hugging Face上获取,并支持多种API和教程便于上手。
SpanMarkerNER - 命名实体识别的高效训练框架
SpanMarkerNamed Entity RecognitionHugging FaceBERTRoBERTaGithub开源项目
SpanMarker是一个基于Transformer库的命名实体识别框架,支持BERT、RoBERTa和ELECTRA等编码器。框架提供模型加载、保存、超参数优化、日志记录、检查点、回调、混合精度训练和8位推理等功能。用户可以方便地使用预训练模型,并通过免费API进行快速原型开发和部署。
lm-evaluation-harness - 统一测试生成式语言模型的多任务评估框架
Language Model Evaluation HarnessOpen LLM LeaderboardGPT-NeoXHugging FacevLLMGithub开源项目
该项目提供统一框架,用于评估生成式语言模型,通过60多个标准学术基准和数百个子任务实现多样化测试。更新包括新的Open LLM Leaderboard任务、内部重构、基于配置的任务创建、Jinja2提示设计支持等高级配置选项,旨在简化和优化模型评估。支持快速高效推理、商业API、本地模型和基准测试。被广泛应用于机构如NVIDIA、Cohere、BigScience等,也支撑了🤗 Hugging Face的Open LLM Leaderboard。
lighteval - 轻量级LLM评估框架,支持多任务处理与复杂模型配置
LightEvalLLM评估Hugging Face安装Github开源项目
lighteval是一款轻量级LLM评估套件,兼容datatrove和nanotron库,支持CPU和多GPU环境,能处理超大模型。多任务配置允许自定义和社区任务,具备数据并行、管道并行及Hugging Face Hub集成功能。适用于复杂模型配置和推理端点。
stable-diffusion-2-gui - Stable Diffusion v2.1的Gradio应用,支持多种图像生成和处理功能
Stable DiffusionGradioHugging FaceDiffusersStability AIGithub开源项目
该页面介绍了一个适用于Stable Diffusion v2.1的Gradio应用,支持文本到图像、图像到图像、图像修复、图像放大和深度到图像等多种功能。此项目由Stability AI和Hugging Face提供支持,可在Colab平台上运行。
Wuerstchen - 基于高度压缩潜在空间的文本到图像生成模型
Würstchen图像生成文本条件模型压缩Hugging FaceGithub开源项目
Würstchen通过在高度压缩的潜在空间中进行文本条件处理,能够实现42倍压缩并保留高质量的图像重构。该模型的多阶段压缩策略显著降低了训练时间和计算成本。用户可以借助Colab和diffusers库使用Würstchen生成文本到图像的内容,同时提供Stage B和Stage C的训练脚本便于用户自行训练模型。详细信息请查看官方文档和论文。
autotrain-advanced - 机器学习模型的训练与部署的无代码训练
AutoTrainHugging FaceColab机器学习部署Github开源项目
AutoTrain Advanced 是一款无代码解决方案,只需几次点击即可训练机器学习模型。需要上传正确格式的数据以创建项目,关于数据格式和定价的详细信息请查阅文档。AutoTrain 免费使用,只需为使用的资源付费。支持在 Colab 和 Hugging Face Spaces 上运行,也可以通过 PIP 本地安装。适用于 Python 3.10 及以上版本,推荐在 Conda 环境中运行。更多信息请访问项目文档页面。