#预训练

LitGPT为开发者提供超过20种高性能的大型语言模型（LLMs），具备从头开始的实现、无抽象层和企业级的性能优化。适合于训练、微调和部署大规模应用，支持新手入门，简化企业级部署流程。提供全面的Python API文档和优化教程，使得部署AI模型更快速、更经济、更有效率。

Chronos是一款基于语言模型架构的预训练时间序列预测工具。它通过量化处理将时间序列转换为标记序列，并使用大规模的公开和合成数据进行训练。Chronos模型在零样本场景中表现优异，提供从预测到嵌入提取的完整解决方案。通过AutoGluon，用户可轻松进行模型集成和云端部署，提升预测性能和应用的灵活性。

PhoGPT是一个高性能的越南语生成预训练模型系列，包括基础模型PhoGPT-4B和聊天变体PhoGPT-4B-Chat。PhoGPT-4B在102B词汇上预训练，支持8192上下文长度和20K词汇类型。PhoGPT-4B-Chat经过微调，提升了对话和指令响应能力。PhoGPT在开源模型中表现优异，适合多种生成任务。

Firefly作为一个开源大模型训练工具，提供预训练、指令微调和DPO的全面解决方案。支持LoRA、QLoRA等高效训练技术，并涵盖多种主流大模型如Qwen2、Yi-1.5，特别适合显存和资源有限的环境。项目不仅开源多种数据集，还在Open LLM排行榜中展示了QLoRA训练的高效性，并与Unsloth合作，进一步优化了训练效率和显存使用。

本教程为编码人员提供了对大型语言模型（LLMs）构建模块和工作原理的深入理解。从LLMs的基础概念和应用案例开始，涵盖了小型GPT模型的数据输入管道、核心架构组件和预训练代码的编写。教程还包括如何加载预训练权重和使用开源库进行微调的实战技能。

Unilm项目跨越100多种语言及包括语言、视觉、语音及其交互的多种模态，专注于基础模型和普适AI的研究。该项目已开发多种新型架构如DeepNet、Magneto，并通过稳定高效的训练方法增强模型的通用性和能力。此外，项目已发布关键技术如E5、BEiT-3，涵盖自然语言处理、机器翻译、文档AI及多模态AI等领域，为AI技术的前沿发展和实际应用做出了显著进展。

腾讯开发的多模态预训练框架TencentPretrain，专为文本、视觉和音频数据设计，具有高效的模块化设计，便于使用现有预训练模型并提供扩展接口。支持CPU、单GPU及分布式训练模式，拥有丰富的预训练模型，适用于如分类、机器阅读理解等多种下游任务，在多个竞赛中表现优异。详见完整文档及快速入门指南。

该项目为根据人类偏好预训练语言模型提供了一套基于Hugging Face Transformers和wandb的工具。项目实现了五种预训练目标，通过对训练数据注释并使用这些目标函数提升模型性能，包括毒性检测和隐私信息识别等任务。项目还提供详细的配置文件和评估方式指导。

该项目详细介绍了如何从零开始构建小规模参数的语言模型（LLM），经过预训练、指令微调、奖励模型和强化学习四个阶段。项目基于bert4torch训练框架，优化内存占用，并提供完整的训练日志以供复现。模型支持与transformers兼容，能够进行多轮对话。项目也开源了预训练语料和权重，方便用户下载和使用，提升了实用性与操作性。

该项目实现了OpenAI Transformer语言模型在PyTorch中的复现，提供了预训练权重加载脚本及模型类。采用固定权重衰减和调度学习率优化模型，支持对ROCStories Cloze任务进行微调，效果接近原始TensorFlow实现。适用于深度学习研究和语言模型的生成与分类任务。

该项目实现了ACL 2019论文《Matching the Blanks: Distributional Similarity for Relation Learning》的PyTorch开源版本，涵盖BERT、ALBERT和BioBERT三种模型。项目提供预训练和微调方法，并通过SemEval 2010任务8和FewRel数据集验证了模型在关系抽取任务中的表现。

该中文自然语言处理项目提供丰富的高质量语料，包括维基百科条目、新闻、百科问答等，目标是解决中文大规模语料匮乏的问题。项目支持10大任务和9个模型的基准测试，并提供一键运行和详细性能比较，旨在提升中文NLP标准。适用于多种实际应用场景，如词向量训练、关键词生成和标题生成，方便研究人员和从业者获取和利用中文语料。

Microsoft Research MSM组在多模态学习和预训练方法上的最新研究成果，包含用于视频语言的HD-VILA-100M数据集，以及HD-VILA、LF-VILA、CLIP-ViP等预训练模型，和用于图像语言的Pixel-BERT、SOHO、VisualParsing模型。这些研究发表在CVPR、NeurIPS和ICLR等顶级会议，代码和数据集已公开，社区成员可以贡献和提出建议。

该项目介绍了Optimus，这是首个使用预训练大规模VAE模型进行句子组织的研究。项目展示了隐空间操控的强大功能，包括句子插值和类比生成。其内容涵盖预训练流程、语言建模、引导语言生成和低资源语言理解。项目提供了详细的代码和数据集准备指南，帮助用户复现研究成果。更多信息和项目进展请参阅Microsoft Research博客。

ChatLM-mini-Chinese是一个小参数中文生成式语言模型项目。模型参数为0.2B，最低4GB显存即可实现预训练，512MB显存可进行推理。项目公开预训练和优化数据集，包括SFT微调和DPO偏好优化，支持多种下游任务。基于Huggingface NLP框架，自实现trainer，支持单机单卡及多卡训练，并可断点续训。此项目优化了内存和显存的使用，为硬件资源不足的用户提供了一种高效的中文对话解决方案。

本页面介绍了MathPile，这是一个专注于数学领域的高质量大规模预训练数据集，包含约95亿个标记。MathPile整合了来自教科书、arXiv、Wikipedia等多种来源的数据，确保了内容的多样性和覆盖面。项目注重数据质量，采用严格的预处理和过滤，并提供详细的数据文档和质量注释。MathPile旨在提升语言模型在数学推理方面的能力，同时页面也提供了项目的最新动态、技术报告、使用限制和许可证信息。

该页面介绍了FROMAGe项目，为其多模态输入输出任务提供代码和模型权重。包含详细的设置指南、预训练检查点、图像检索预计算嵌入、推理和训练示例以及评估脚本。研究人员可使用这些资源在视觉故事讲述和对话生成等任务中实现突破。欢迎访问项目主页和在线演示参与讨论。

Pointcept 是一个专为点云感知研究设计的开源代码库，集成了 Point Transformer V3、OA-CNNs 和 PonderV2 等顶尖技术。通过多数据集预训练架构和高效的场景对比学习框架，Pointcept 在室内外场景中表现出色。用户可以使用统一接口和预处理支持，快速部署点云感知解决方案。项目持续更新，最近的新版本优化数据集结构，提升整体性能。

GenerateU项目提出新型开放式目标检测方法，通过生成式区域语言预训练实现无需预定义类别的检测。在LVIS数据集零样本迁移测试中，即使推理时未见类别名称，也达到开放词汇目标检测方法GLIP的性能水平。该项目入选CVPR2024，为通用目标检测领域带来创新突破，特别适用于用户缺乏精确物体类别知识的场景。

MM-Interleaved是一种新型交错图文生成模型，采用创新的多模态特征同步器MMFS。它能分析高分辨率图像的多尺度特征，生成精确文本描述和匹配图像。该模型在多模态理解和生成任务中表现出色，可适用于多种应用场景。

VILA是一种新型视觉语言模型，采用大规模交错图像-文本数据预训练，增强了视频和多图像理解能力。通过AWQ 4位量化和TinyChat框架，VILA可部署到边缘设备。该模型在视频推理、上下文学习和视觉思维链等方面表现出色，并在多项基准测试中获得了优异成绩。项目完全开源，包括训练和评估代码、数据集以及模型检查点。

LLaMA2-Accessory是一个全面的开源工具包,专注于大规模语言模型和多模态语言模型的开发。该工具支持预训练、微调和部署,涵盖多种数据集和任务类型。工具包提供高效的优化和部署方法,并兼容多种视觉编码器和语言模型。其中还包含SPHINX,这是一个融合多种训练任务、数据领域和视觉嵌入的多功能多模态大型语言模型。

Uni3D是一个创新的3D预训练框架,致力于大规模3D表示学习。该框架采用2D预训练模型初始化,通过端到端训练实现3D点云与图像-文本特征对齐。Uni3D凭借简洁架构和高效预训练,成功将模型规模扩展至10亿参数,在多项3D任务中取得突破性进展,展现了将2D深度学习优势迁移至3D领域的巨大潜力。

该项目汇集遥感基础模型相关论文、数据集、基准测试、代码和预训练权重。内容涵盖视觉、视觉-语言、生成式、视觉-位置、视觉-音频等多类型遥感基础模型,以及特定任务模型和遥感智能体。另外还包含大规模预训练数据集等资源,为遥感领域研究和开发提供全面支持。

ICL_PaperList是一个收录上下文学习(In-context Learning)研究论文的开源项目。内容涵盖模型预训练、提示调优、分析评估等方面,并对Survey、Model Training、Prompt Tuning等领域进行了分类整理。该项目为研究人员提供了全面的上下文学习文献资源,有助于了解该领域的最新进展和发展方向。

本项目收集了多模态强化学习(MMRL)领域的前沿研究论文和资源。内容涵盖视觉、语言及其结合的MMRL方法,包括ICLR、NeurIPS、ICML等顶级会议论文,以及预训练、表征学习、视觉推理等热点主题。项目持续追踪最新进展,为MMRL研究提供全面参考。

LanguageBind是一种基于语言的多模态预训练方法,通过语言将不同模态进行语义关联。该方法引入了VIDAL-10M数据集,包含1000万条视频、红外、深度、音频及对应语言数据。通过多视角增强的语言描述训练,LanguageBind在多个跨模态任务上实现了先进性能,无需中间模态即可完成跨模态语义对齐。

LongMem项目通过创新的长期记忆机制提升了语言模型的性能。该项目实现了记忆库、检索机制和联合注意力等核心技术，使模型在内容学习任务中表现优异。项目开源了完整代码，包括环境配置、模型结构和评估方法，为研究者提供了便利的复现和探索工具。LongMem为自然语言处理领域开辟了新的研究方向。

轩辕项目开源了6B、13B、70B等规模的中文大语言模型系列。这些模型在金融领域表现突出，FinanceIQ评测结果优于GPT-4。在C-Eval、CMMLU等通用能力测试中也取得了优秀成绩。项目同时发布高质量中文金融数据集，促进金融AI研究。多种模型规格可满足不同应用场景需求。

这个项目全面梳理了语言模型数据选择的各个环节,涵盖预训练、指令微调和偏好对齐等阶段。内容包括语言过滤、启发式方法、数据质量评估和去重等核心技术,还探讨了多语言和特定领域模型的专门选择策略。项目汇集了众多相关研究文献,为语言模型开发提供了系统的参考资源。

ByT5作为mT5模型的无词元化版本，通过直接操作UTF-8字节实现了文本处理的简化。研究表明，ByT5在多种任务中与mT5旗鼓相当，并在处理噪声文本和对拼写发音敏感的任务中表现更为出色。该项目不仅开源了完整的模型训练、微调和评估代码，还提供了从小型到超大型的多个预训练模型检查点，为推动自然语言处理技术向无词元化方向发展做出了重要贡献。

MINI_LLM项目展示了完整的中文大语言模型训练流程，涵盖预训练、SFT指令微调和DPO优化阶段。该项目基于QWEN模型，利用多种数据集训练出1.4B参数规模的模型。项目详细介绍了数据处理方法、提供训练脚本，并包含多GPU训练指南，为中文大语言模型开发提供了实用参考。

Chinese-Tiny-LLM项目提供完整的中文网络语料清洗流程和预训练代码，包含MAP-CC（8000亿中文token预训练数据集）、CHC-Bench（中文难例指令理解基准测试）和CT-LLM（2B参数中文中心语言模型）。该项目突破了传统依赖英语语料库的LLM训练方法，为构建更具包容性和适应性的语言模型奠定基础。

BaSSL是一种针对视频场景分割的自监督学习算法。它利用伪边界和边界感知预训练任务，最大化场景内相似性并最小化场景间差异。通过在预训练阶段学习边界间的上下文转换，BaSSL显著提升了视频场景分割性能。该算法在MovieNet-SSeg数据集上的测试结果表明，它具有优越的分割效果。

nanoT5是一个开源项目,旨在提供高效训练T5模型的方案。该项目在单GPU上仅用16小时就能达到与原始T5模型相当的性能,显著降低了训练成本。nanoT5优化了数据预处理、优化器选择等训练流程,为NLP研究人员提供了易用的研究模板。作为首个PyTorch实现的T5预训练框架,nanoT5为计算资源有限的研究者提供了宝贵工具。

本书详细介绍了如何从零开始编码、构建和训练GPT类大语言模型。提供逐步指导、清晰图示和示例，适合教育用途的小型模型开发，并包含大模型预训练权重加载和微调的代码示例。