#HuggingFace

🤗 Diffusers 是一个生成图像、音频和3D结构的预训练扩散模型库，提供易用的推理管道和可定制的模型组件。它支持多种调度器和预训练模型，适用于多种任务和应用场景，并兼容 PyTorch 和 Flax 框架。用户可以简单生成内容或训练自定义扩散模型。

本指南系统介绍了方法、工具和逐步操作说明，帮助工程师成功训练大规模语言模型（LLM）和多模态模型（VLM）。内容涵盖丰富的脚本和命令，适合LLM/VLM训练工程师和操作员使用。基于作者在开源BLOOM-176B和IDEFICS-80B模型训练中的经验，提供有效解决方案，并持续更新，服务于ML社区。

LangChain-ChatGLM-Webui 是一个利用LangChain和ChatGLM-6B系列模型的Web界面，支持txt、docx、md、pdf等格式文件上传，适用于本地知识驱动的大模型应用。项目支持HuggingFace、OpenXLab等多个平台的在线体验，适合开发者快速部署多种大语言模型和嵌入模型。

项目提供开源且商用的中文Llama2模型及中英文SFT数据集，兼容llama-2-chat格式并支持优化。项目包含在线演示、多模态模型、Docker部署和API接口，支持多种硬件配置，用户可快速下载与测试。

本页面详细介绍了通过使用Flan集合微调Vicuna-13B以开发Flacuna模型的过程，及其在Flan-T5文本到音频生成中的应用。项目展示了扩展Stanford Alpaca指令微调到现有模型的方法，并提供了多种预训练模型，均可在HuggingFace上获取。用户可以在这里找到Flan-Alpaca系列模型的训练、使用和推理的详细指南，以优化各种任务性能。

本项目通过将大型语言模型（LLM）与文本到图像扩散模型结合，提高了提示理解能力。LLM负责解析文本请求，生成中间表示如图像布局，最终通过稳定扩散模型生成高质量图像。项目支持多种生成方法和开源模型，用户可自行设置实现自托管，从而节约API调用成本。项目更新频繁，包括支持高分辨率生成和集成SDXL精炼器等功能。

transfer-learning-conv-ai项目提供了一套完整的代码库，使用OpenAI GPT及GPT-2模型通过迁移学习技术培训对话型AI代理。用户可以在1小时内完成模型训练，还可以直接使用预训练模型。本代码库支持在单GPU或多GPU下训练，并兼容Docker环境。适合参与NeurIPS 2018对话竞赛。

mlx-llm支持用户在Apple Silicon设备上实时运行高级语言模型（LLMs）的应用和工具。该项目支持多种预训练模型，并提供简便的安装方法。用户可以加载新版预训练权重、进行模型量化及嵌入提取。此外，mlx-llm还覆盖了多种应用场景，包括命令行聊天、LoRA或QLoRA微调及检索增强生成（RAG）等。

该项目提供了一系列循序渐进的教程，指导从零开始构建常见的Transformer模型，如BERT、GPT、GPT2、BART和T5。教程不仅讲解基本架构的实现，还包括预训练和微调示例，并提供小型PyTorch库以便额外使用。项目依赖HuggingFace的tokenizers库进行子词标记，适用于不同规模数据集的训练需求，还涵盖了多工作节点的分布式训练示例，非常适合希望深入了解Transformer模型原理和应用的学习者。

Code-Interpreter是一个开源的免费代码执行工具，利用GPT 3.5 Turbo、PALM 2、Groq、Claude、多种HuggingFace模型等将多种任务转换为可执行代码。支持文件查找、图像处理、视频编辑和数据分析等多任务，兼容Windows、MacOS和Linux系统，设计简单易用，无需下载模型。适用于开发者、数据科学家等用户。

项目旨在创建中文通用文本嵌入模型，提供训练、微调和评测代码，并在 HuggingFace 开源。更新亮点包括：FineTuner 支持多模型微调、推出中文版 MTEB 以及 M3E 系列模型在分类与检索任务中的表现。M3E 模型完全兼容 sentence-transformers，使用简易代码即可微调。项目推出 MTEB-zh 进行标准化评测，覆盖多个数据集和模型，结果已发布。

Pico MLX Server提供简单易用的图形界面，便于管理MLX AI模型。通过菜单栏可以迅速启动和停止服务器，用户还可以从HuggingFace下载MLX模型，安装Python环境和必要依赖，并在多个端口同时运行多个服务器。此外，Pico MLX Server兼容OpenAI API，支持现有的AI聊天客户端。适用于macOS 14.0及以上版本。

提供一个兼容HuggingFace Transformers的附加库，整合超过10种Adapter方法和超过20种先进Transformer模型，简化训练和推理的编程工作量。支持高精度与量化训练、任务算术合并适配器以及多适配器组合等功能，适用于NLP任务的参数高效传输学习。

TinyLLaVA Factory是一个开源的模块化代码库，专注于简化小规模多模态模型的开发和定制，使用PyTorch和HuggingFace实现。其设计旨在简化代码实现、提高扩展性和确保训练结果的可重复性。支持如OpenELM、TinyLlama、StableLM等语言模型和CLIP、SigLIP等视觉模型。通过TinyLLaVA Factory，可减少编码错误，快速定制多模态模型，提高性能，为研究和应用提供强大工具。

Bumblebee提供基于Axon的预训练神经网络模型，并集成Hugging Face模型，使机器学习任务变得简单。用户可通过Livebook和Phoenix轻松部署模型，支持CPU和GPU加速。其可加载和配置多种模型，在端到端的机器学习流水线中使用。官方文档和示例代码帮助用户深入了解Bumblebee的强大功能和实际应用。

🤗 Exporters工具包旨在简化将Transformer模型转换为Core ML格式的过程，避免手动编写转换脚本。它与Hugging Face Transformers库紧密集成，并提供无代码转换体验，支持BERT和GPT-2等多种模型架构。工具包可在Linux和macOS平台上运行，利用coremltools实现从PyTorch或TensorFlow到Core ML的转换，并通过Hugging Face Hub进行模型管理，提升模型转换和部署的便捷性及灵活性。

Tevatron提供高效工具包，支持在GPU和TPU上大规模训练和推理神经检索模型，集成DeepSpeed和LoRA等技术，可加载HuggingFace的预训练模型，适用于神经检索和开放域QA任务。

该项目展示了如何正规化扩散模型中的随机种子，并实现零样本图像到图像翻译和指导。CycleDiffusion方法无需配对图像，利用稳定扩散等模型实现图像翻译。项目还提供详细的安装和使用指南，包括依赖项、预训练模型和评估数据等内容，通过这些工具可提高生成图像的质量和一致性。

LLM-Adapters 是一个集成了多种适配器的框架，用于实现大语言模型的参数高效微调。支持 LLaMa、OPT、BLOOM 和 GPT-J 等开源大语言模型，以及 Bottleneck、Parallel 和 LoRA 等适配器。这个框架为研究人员和开发者提供了强大的工具，可应用于各种任务的适配器方法。最新更新包括 commonsense170k 数据集，LLaMA-13B-Parallel 模型在多个常识基准测试中表现优异，超越了 ChatGPT。

One-2-3-45项目创新性地提出了一种2D扩散模型在3D AIGC中的正向操作方法，无需耗时的优化过程。项目提供详细的安装说明和多种演示方式，包括在线互动演示和完整的配置指南。通过整合Hugging Face的Gradio API，用户可以方便地进行图像预处理和3D网格重建。该项目已被NeurIPS 2023接受，并提供了详细的训练代码和数据集，促进单图像到3D模型的快速生成。

StableVideo 通过采用最新的文本驱动一致性扩散算法，提供了创新的视频编辑技术。用户可以下载预训练模型和示例视频，用于视频帧的编辑和渲染。该工具支持多种配置，提供详细的安装和运行指南，便于在本地进行实验。借助 ControlNet 和 Text2LIVE 等开源资源，StableVideo 展示了其在视频处理领域的强大应用潜力。如果该项目对研究有帮助，请参考相关学术论文。

LeptonAI框架提供了一种Pythonic抽象方式，将研究和建模代码快速转化为AI服务。支持启动包括Llama、SDXL、Whisper等常见模型，具备自动批处理和后台作业等AI优化功能。用户可以通过Python客户端轻松调度服务，也能快速在云环境中部署。开发者可参考丰富的文档和示例库，灵活定制Photon类和Handler函数。

chat_templates是一个开源项目,为指令微调的大语言模型提供标准化聊天模板。该项目支持transformers库的chat_template功能,收录了Llama、Mistral、Qwen等主流大语言模型的聊天模板。此外,项目还提供了用于控制响应生成的配置文件。开发者可借助这些模板和配置,更便捷地使用各类大语言模型进行对话生成。

这个项目汇集了基于HuggingFace Transformers库的多种深度学习模型教程，涵盖自然语言处理和计算机视觉等领域。内容包括BERT、DETR、LayoutLM等模型的微调和推理示例，展示了在图像分类、目标检测、文档分析等任务中的应用。所有代码采用PyTorch实现，并提供Colab notebooks方便实践。

HuggingFace-Download-Accelerator是一个专为国内用户开发的HuggingFace资源下载工具。该项目结合官方下载工具和镜像站，大幅提升了模型和数据集的下载速度。它支持自定义存储路径、授权模型获取和文件筛选，简化了下载流程并优化了存储管理。这一工具为用户提供了便捷、高效的HuggingFace资源获取方案，有效解决了国内用户面临的下载困难。

HuggingSound是基于HuggingFace工具开发的语音处理工具库。该项目为语音识别、模型微调和评估提供了简洁的接口。适用于Python 3.8+环境，支持pip安装。HuggingSound能够利用预训练CTC模型进行推理，并通过语言模型增强识别准确度。此外，它还包含模型评估和微调功能，便于研究人员根据特定数据集优化模型表现。

本项目是DeepMind的Skillful Nowcasting GAN深度生成模型(DGMR)的开源实现，专注于提高短期天气预报精度。基于PyTorch Lightning框架开发，严格遵循DeepMind公布的伪代码。项目集成了预训练模型，支持英国和美国的降水雷达数据，并通过HuggingFace Datasets简化了数据获取流程。DGMR模型展示了生成高质量短期天气预报的能力，为气象预报领域带来了创新。

llms_tool是一个基于HuggingFace的大语言模型工具包，支持多种模型的训练、测试和部署。它提供预训练、指令微调、奖励模型训练和RLHF等功能，支持全参数和低参数量训练。工具包集成WebUI和终端预测界面，以及DeepSpeed分布式训练。涵盖ChatGLM、LLaMA、Bloom等主流模型，提供多种训练方法和量化选项。

camembert-ner-with-dates是一个增强版的法语命名实体识别模型，基于camemBERT架构，新增日期标记功能。该模型在扩展的wikiner-fr数据集（约17万句）上训练，支持识别组织、人名、地点、杂项和日期等实体。在混合测试数据上，模型达到83%的F1分数，优于传统日期解析方法。用户可通过Hugging Face平台轻松使用该模型，总体精确度、召回率和F1分数均达到0.928。

roberta-large-ner-english是一个基于RoBERTa大型模型微调的英语命名实体识别模型。它在CoNLL-2003数据集上训练，在验证集上实现了97.53%的F1分数。该模型在处理电子邮件、聊天等非正式文本时表现优异，尤其擅长识别不以大写字母开头的实体。相比SpaCy，它在非正式文本上的表现更出色。模型可识别人名、组织、地点和杂项实体，并可通过HuggingFace库轻松集成到NLP项目中。

epiCRealism是一个基于Stable Diffusion的开源模型，专注于生成高质量真实感图像。该模型支持多种场景创作，包括人像、风景和幻想题材，能够呈现细腻的细节和逼真效果。epiCRealism易于集成到各类图像生成项目中，为创作者和开发者提供了实现视觉创意的有力工具。

此项目通过自监督对比学习，训练出可将句子和段落转化为384维向量的模型，适用于语义搜索、信息检索和句子相似度任务。模型基于1B句子对数据集微调，利用TPU v3-8进行训练，并在Hugging Face社区活动期间开发。用户可使用sentence-transformers或HuggingFace Transformers实现多种自然语言处理应用。

cocodr-large-msmarco是一个基于BERT-large架构的密集检索模型，参数量达3.35亿。该模型在BEIR语料库上预训练后，在MS MARCO数据集上微调，采用对比学习和分布鲁棒性学习技术解决零样本密集检索中的分布偏移问题。模型可通过Hugging Face transformers库轻松加载，为信息检索任务提供有力支持。

探索合并llama-3顶尖模型创建更高排名LLM模型，无需额外训练。该项目利用Mergekit实现模型无缝合并，面向关注开源项目和深度学习的用户。提供YouTube视频教程和GitHub代码支持，帮助用户了解项目细节和操作流程。

mamba-2.8b-zephyr是对xiuyul/mamba-2.8b-ultrachat的增强版，在HuggingFaceH4/ultrafeedback_binarized数据集上通过Direct Preference Optimization方法进行训练。它在性能评价中表现优异，奖励准确率为0.7857，奖励边际值为1.1582。在多GPU分布式环境中，通过Adam优化器和线性学习率调度进行训练，提高了模型的稳定性和预测精准度，具备广泛的应用潜力。

该项目在DARPA TIMIT数据集上微调了Wav2Vec2模型，提升音素识别的精确度，展示从音频到文本的自动识别过程。使用HuggingFace的pipeline，实现了端到端处理。测试集上的字符错误率为7.996%。项目特色包括自定义音素预测方法和现代AI工具优化，有助于提高语音处理技术效率。