#Llama-2

Llama-2-Open-Source-LLM-CPU-Inference

详细介绍如何在本地CPU上使用Llama 2、C Transformers、GGML和LangChain运行量化开源LLM进行文档问答的指南。内容涵盖工具配置、模型下载和依赖管理，帮助团队实现自我管理或私有部署，满足数据隐私和合规要求，并节省GPU实例的高额费用。

meditron

Meditron是一套开源医疗大语言模型，包含7B和70B两个版本。这些模型基于Llama-2，通过在医学语料库上持续预训练而来。Meditron-70B在医学推理任务中的表现超越了Llama-2-70B、GPT-3.5和Flan-PaLM。虽然Meditron旨在提升临床决策支持，但在实际医疗应用中仍需谨慎，并进行充分的测试和临床试验。

Chinese-Llama-2

Chinese-Llama-2是一个开源项目，致力于增强Llama-2大语言模型的中文处理能力。项目采用LoRA微调、全参数指令微调和二次预训练等方法，并在中文指令数据集上训练Llama-2模型。提供了训练所需的数据集、教程和模型参数，旨在推动中文自然语言处理研究与应用。经过优化的模型在中文理解、生成和翻译等任务中表现出明显提升。

meditron-7b

Meditron-7B是开源的医学大型语言模型，通过持久的预训练，结合选定的PubMed文献和国际医学指南数据，提高了医疗推理任务的能力。该模型在文本生成和医疗问答方面显示了潜力，但实际使用需经过更多测试和适应调整。

llama-2-tiny-random

基于Llama-2-7b-chat-hf配置进行随机初始化，通过修改隐藏层、注意力头等参数设置，以低资源消耗实现文本生成，适合低成本运算的研究及开发场景。

Nous-Hermes-Llama2-13b

Nous-Hermes-Llama2-13b是基于Llama 2微调的开源语言模型,采用30万条指令进行训练。该模型以生成长篇回复和较低的幻觉率为特点,在AGI-Eval等多项基准测试中表现优异。它可用于创意写作、指令理解等多种语言任务,为开发者和研究人员提供了一个强大的开源语言工具。

llama-2-7b-chat-bnb-4bit

该开源项目致力于优化大语言模型的训练过程，通过创新技术为Mistral、Gemma、Llama 2等主流模型提供训练加速解决方案。基于Colab平台的多个训练笔记本支持对话及文本补全功能，可实现2-5倍的训练速度提升，并将内存占用降低70%。项目支持GGUF格式导出及vLLM、Hugging Face平台部署，为计算资源受限的AI开发团队提供了高效的模型训练方案。

codegemma-2b

CodeGemma-2b项目使用Unsloth技术，加速多个深度学习模型的微调，包括Mistral、Gemma、Llama等。速度提升最高达5倍，内存使用减少70%。通过Google Colab和Kaggle的免费notebook，用户可以轻松展开微调工作。简化的界面设计支持从数据添加到模型导出的完整流程，适合初学者快速上手。这种创新优化方法节省计算资源，提高模型性能，是开发者提升生产力的有力助手。

Llama-2-7b-chat-hf-q4f32_1-MLC

这是一个基于Llama-2-7b-chat-hf的MLC格式q4f32_1模型，支持MLC-LLM和WebLLM项目。模型提供命令行聊天、REST服务器和Python API三种调用方式，可用于开发聊天应用及系统集成。