#LLaMA

Dalai项目允许用户在Linux、Mac和Windows系统上运行LLaMA和Alpaca模型，提供用户友好的Web应用和JavaScript API。通过简单的安装步骤即可在本地使用这些模型，支持多种模型尺寸，适应不同计算机配置。详细的安装和故障排除指南帮助用户快速上手。

xTuring是一款高效、简单的开源LLM微调平台，支持Mistral、LLaMA、GPT-J等多种模型。用户可通过直观界面在本地或私有云中微调模型，保障数据隐私。平台支持数据预处理、多GPU扩展、以及INT4和LoRA等内存高效的微调方法，并提供多种模型评估工具。最新功能涵盖LLaMA 2集成、CPU推理优化和批量处理。

本页面介绍如何在Colab平台上便捷部署多种GPT模型，包括vicuna、alpaca、llama等。用户可通过一键启动这些模型，适用于文本生成等应用。页面详细描述了每个模型的特性和使用方法，并提供对应的Colab链接，帮助用户高效进行实验和开发。

LLamaSharp是一个基于llama.cpp的跨平台库，支持在本地设备上高效运行LLaMA和LLaVA等大语言模型。该库提供高级API和RAG支持，便于在应用中部署大型语言模型。LLamaSharp兼容多种后端，支持CPU和GPU推理，适用于Windows、Linux和Mac平台。通过集成semantic-kernel和kernel-memory等库，LLamaSharp简化了应用开发，并提供多个示例和教程帮助用户快速上手。

llama.go是一个基于Golang的LLM推理项目，旨在通过纯Golang编写的张量数学与多线程优化，实现高效的LLaMA模型推理，替代C++实现。支持LLaMA V1和V2模型架构，兼容Mac、Linux和Windows，涵盖INT8量化、AVX2加速等高级功能。未来计划扩展支持Nvidia GPU、AVX512和INT4量化，并提供内置REST API，适用于真实项目中的服务器模式。

LLaMA-MoE是基于LLaMA和SlimPajama的开源专家混合模型。通过将LLaMA的FFN划分为稀疏专家并加入top-K门控，模型在优化的数据采样权重下进行持续预训练。特点包括轻量化、多种专家构建方法、多种门控策略和快速预训练，适合部署和研究。提供详细的安装指南和技术文档，帮助用户快速使用并评估模型性能。

本项目通过结构化剪枝显著提升大语言模型的预训练效率。通过剪枝优化LLaMA等大型基础模型，得到更小但同样强大的语言模型。实验结果显示，与从头开始预训练相比，剪枝显著降低了计算成本。项目提供详尽的代码库、评估脚本和剪枝日志，及多种经过指令微调的模型。

VisualCLA基于中文LLaMA/Alpaca模型，增加图像编码模块，实现图文联合理解和对话能力。目前发布测试版，提供推理代码和部署脚本，并展示多模态指令理解效果。未来将通过预训练和精调优化，扩展应用场景。

LlamaChat，一个为macOS设计的聊天应用，支持用户在本地与LLaMA、Alpaca和GPT4All模型进行交互。它支持多种模型格式，如PyTorch checkpoints及ggml文件，并具备聊天历史记录及模型调试功能。请注意，LlamaChat不提供模型文件，用户需自行根据相关条款获取。

本项目实现了RLHF的三阶段训练，包括指令微调、奖励模型训练和PPO算法训练。支持LLaMA和LLaMA2模型，并提供多种分布式加速训练方法。项目附有详细的实现文档，并对比了其他开源框架的功能，是RLHF训练的宝贵资源。

Llama-tokenizer-js 是一款JavaScript客户端分词器，适用于LLaMA 1和LLaMA 2模型，并支持TypeScript。该工具无依赖、易于使用，专为客户端准确计算token数量设计。利用优化的BPE算法实现高效运行时间和小巧包大小。支持浏览器和Node环境，并提供便捷的demo和详细使用说明。

OmniQuant是一种高效的量化技术，支持多种大型语言模型（LLM）的权重和激活量化，包括LLaMa和OPT等。其实现了4位及更低精度的权重量化，并通过MLC-LLM优化在多种硬件设备上的推理性能和内存占用。此外，项目还支持Mixtral和Falcon模型的压缩应用，大幅降低内存需求，提高运行效率。

Darwin是一个开源项目，致力于在科学文献和数据集上预训练和微调LLaMA模型，特别针对材料科学、化学和物理领域。Darwin整合了结构化和非结构化的科学知识，提升了语言模型在科学研究中的效率。基于7B LLaMA模型，Darwin在实验带隙预测和金属分类任务中表现优异，超过了Fine-tuned GPT3.5和专用机器学习模型。尽管仍在开发中，Darwin在解决科学问题方面已展现出巨大潜力。

MotionGPT是通过微调大型语言模型（LLMs）来实现通用运动生成的开源项目。项目提供详细的安装指南、预训练模型及数据集应用实例，支持高效的文本到动作转换及生成。用户可以轻松实现姿态可视化和SMPL网格渲染。项目页面详细介绍了多种使用场景，适用于各种运动生成需求。

一个使用C++编写的命令行聊天程序，支持GPT-J、LLaMA、MPT等语言模型。适用于Linux、MacOS和Windows系统，有详尽的安装和使用指南，并支持多线程、保存/加载聊天日志、设置AI角色等多种功能。

这个代码库提供了使用LLaMA进行文本分类的基础代码。用户可以通过该项目设置实验环境并运行在Nvidia V100 GPU上，用于与Huggingface数据集进行文本分类实验。项目介绍了Direct、Channel和Pure Generation三种方法，并提供了预处理、推理和校准的具体示例。

自LLaMA权重泄露和斯坦福小羊驼取得显著成果以来，开源社区对开发ChatGPT级别的大语言模型充满希望。页面详细记录了从复刻到超越的整个过程，包括基础模型、领域模型、训练、推理、多语言支持、多模态技术等各方面的进展。此外，还提供了丰富的开发和实施指导，从数据准备到低成本推理，并介绍了多个著名开源模型如LLaMA、BLOOM、GPT-J等。它是研究者和开发者理解和推进大语言模型开源发展的全面资源。

该项目提供中文对话和基础模型，包括Linly-ChatFlow、Chinese-LLaMA和Chinese-Falcon模型及其训练数据。通过扩充LLaMA和Falcon的中文词表，使用中英文语料进行预训练，提升了模型在中文语境中的表现。项目还包括Linly-OpenLLaMA模型，支持量化和边缘设备推理。最新的Linly-Chinese-LLaMA-2模型通过混合语料预训练并定期更新，用户可以在线体验和在本地环境中进行训练和评估。

EasyLM提供了一站式解决方案，用于在JAX/Flax中预训练、微调、评估和部署大规模语言模型。通过JAX的pjit功能，可以扩展到数百个TPU/GPU加速器。基于Hugginface的transformers和datasets，EasyLM代码库易于使用和定制。支持Google Cloud TPU Pods上的多TPU/GPU和多主机训练，兼容LLaMA系列模型。推荐加入非官方的Discord社区，了解更多关于Koala聊天机器人和OpenLLaMA的详细信息及安装指南。

本项目提供使用Cog工具构建和部署多版本LLaMA模型的详细指南。涵盖从权重准备到Replicate平台部署的全过程，支持7B、13B和70B规模的LLaMA和LLaMA2模型。适用于研究人员和开发者进行LLaMA模型的云端部署和API开发。

项目对比测试了NVIDIA GPU和Apple芯片在LLaMA 3模型上的推理性能,涵盖从消费级到数据中心级的多种硬件。测试使用llama.cpp,展示了不同量化级别下8B和70B模型的推理速度。结果以表格形式呈现,包括生成速度和提示评估速度。此外,项目提供了编译指南、使用示例、VRAM需求估算和模型困惑度比较,为LLM硬件选型和部署提供全面参考。

CEPE是一个扩展语言模型上下文窗口的开源框架,采用并行编码方法处理长文本输入。该项目提供数据预处理、模型训练和基线评估的完整代码,并发布了可通过Hugging Face使用的预训练模型。CEPE在语言建模和开放域问答等任务中表现优异,为处理长文本提供了高效解决方案。

Honest LLaMA项目开发的推理时干预(ITI)技术通过调整注意力头激活，显著提升了大语言模型在TruthfulQA基准测试中的真实性表现。这种方法具有数据效率高、计算成本低的优势，为平衡模型真实性和实用性提供了新思路。ITI技术在LLaMA等模型上的成功应用，展示了其在提高AI系统可信度方面的潜力。

ChatDoctor是一个基于LLaMA大语言模型的医疗对话系统。该系统通过融合超过10万条真实医患对话和医学专业知识进行训练，能够模拟医生与患者的交互，提供个性化医疗咨询。项目还开发了基于外部知识库的自主问答功能，提高回答的准确性和可靠性。ChatDoctor旨在作为智能医疗助手，但仅限于学术研究用途，不适用于商业或临床环境。

本项目展示了在单个16G GPU上微调vicuna-7b模型的方法。通过采用LoRA、半精度模型和8位加载等技术，有效降低了内存需求。项目详细说明了环境配置、模型准备、语料处理和微调过程，并提供P100和A100的性能数据。这种方法使研究者和开发者能在有限硬件资源下进行大型语言模型的定制化训练。

Chinese-Vicuna项目旨在低资源环境下训练中文LLaMA模型。该方案可在单个RTX-2080TI上进行指令微调，在RTX-3090上实现长上下文多轮对话。具有参数效率高、显卡友好和易部署等特点，支持7B和13B模型微调及垂直领域应用。项目提供完整的训练、推理和部署代码，以及多种优化工具。

这个项目系统收录了中国AI大模型的详细信息，涵盖机构、来源和分类等。通过持续更新，记录各类大模型的发展动态，包括百度文心一言、阿里通义千问等知名通用模型，以及医疗、金融等专业领域模型。项目还提供评测数据集和开源基础模型列表，为研究中国AI发展提供全面参考。

LlamaChat是Mac平台上的开源聊天应用，支持在本地运行LLaMA、Alpaca和GPT4All等大型语言模型。用户可直接导入PyTorch模型检查点或.ggml文件，灵活选择模型。该应用基于llama.cpp和llama.swift构建，完全免费开源，为用户提供了便捷途径来体验先进的语言模型技术。

TextGen实现了LLaMA、ChatGLM、GPT2等多种文本生成模型。该开源库支持大模型LoRA微调训练和高效推理,还包含UDA、Seq2Seq等经典生成模型。TextGen提供多个预训练模型,可用于对话生成、文本扩增、翻译等任务。项目开箱即用,便于研究人员和开发者快速构建文本生成应用。

Landmark Attention项目提供了一种创新注意力机制的实现，可处理无限长度的上下文。该项目包含语言建模基准测试和LLaMA模型微调代码，以及与Flash Attention结合的Triton实现。通过在输入中添加特殊landmark标记，实现了对超长序列的随机访问，优化了Transformer模型的长文本处理能力，同时显著降低了内存使用并提高了性能。

Tamil-Llama项目基于开源LLaMA模型,通过增加泰米尔语词元和采用LoRA方法,提升了泰米尔语处理能力。项目提供7B和13B参数的基础模型和指令模型,支持泰米尔语和英语双语对话。模型在英语推理基准测试中表现良好,并提供量化版本和泰米尔语数据集用于微调和评估。

MedQA-ChatGLM是基于ChatGLM-6B的医疗问答模型，采用LoRA、P-Tuning V2和Freeze等方法进行微调。项目支持单卡和多卡分布式训练，并提供多种推理方式。模型使用cMedQA2等医疗数据集训练，旨在提升医疗领域问答能力。项目还整理了多个医疗大语言模型资源，为相关研究提供参考。

Serge是一个开源的自托管大语言模型聊天平台，基于llama.cpp开发，支持运行GGUF模型。该项目采用SvelteKit构建前端，使用Redis存储聊天历史，并通过FastAPI和LangChain封装API。Serge目前支持超过30种主流大语言模型，如LLaMA、Mistral和Mixtral等。用户可以通过Docker或Kubernetes快速部署，无需API密钥即可搭建私有AI聊天服务。其简单的用户界面使得即使非技术用户也能轻松搭建和管理自己的AI聊天服务。

hcgf是一个开源的大语言模型微调工具，支持ChatGLM、ChatGLM2、Qwen和LLaMA等多种模型。它提供命令行和Python API接口，适配单卡、多卡和8bit等微调模式，可灵活应用于不同硬件环境。hcgf还支持持续微调和推理演示，为大模型定制化提供了全面解决方案。

LLAMA是Facebook AI Research开发的开源语言模型项目,致力于提高机器翻译质量。该项目专注于源语言处理,采用创新方法改进翻译效果。LLAMA为机器翻译研究提供了重要工具,有望推动该领域的技术进步。

ChatPiXiu是一个综合性的开源ChatGPT项目，提供了详细的模型调研和实现指南。该项目涵盖60多个开源ChatGPT替代方案和20多个基础模型，包含通用实现和领域适配两个主要分支。项目还提供了丰富的技术文档，为开发者提供了重要的参考资源。