#本地推理
LocalAI
LocalAI是一个自由开源的OpenAI替代项目，提供与OpenAI兼容的REST API，支持本地或预置的消费级硬件上运行大型语言模型、生成图像和音频。该项目由Ettore Di Giacinto创建和维护，不需要GPU即可支持多种模型系列，实现了多种AI推理的独立化和去中心化。LocalAI致力于为开发者提供全面的开源AI模型使用方案，包括文本生成、语音转换、图像生成等功能，并通过Docker容器化技术实现了高效的部署和使用。
exui
ExUI是基于ExLlamaV2开发的轻量级浏览器界面，用于本地大语言模型推理。该工具提供响应式界面、持久会话和多种指令格式，支持EXL2、GPTQ和FP16模型。ExUI具有推测性解码和记事本模式等特性，适用于本地环境和Google Colab，简化了大语言模型的交互过程。
huggingface-llama-recipes
本项目提供了一系列实用工具和指南，帮助开发者快速掌握Llama 3.1模型。内容涵盖本地推理、API调用、模型量化和微调等关键主题，并包含相关代码示例。此外，项目还介绍了Llama Guard和Prompt Guard安全模型的应用，以及其他高级用例。项目资源适合不同经验水平的开发者，为探索和应用Llama 3.1模型提供了有价值的参考。
HaiVE
HaiVE专注于开发边缘AI解决方案，产品包括自主教授系统Malar Teacher、本地推理工作台AI Studio和定制化本地AI方案。公司致力于AI技术本地化，为个人和企业提供全方位服务。HaiVE的创新成果广受关注，其边缘AI技术在智能家居、工业物联网等领域有广泛应用。通过与三星等知名企业合作，HaiVE展示了在AI领域的卓越技术实力和影响力。
NanoLLM
NanoLLM是一个开源工具包，专注于优化大型语言模型(LLM)的本地推理性能。它提供了类HuggingFace的API接口，支持模型量化、视觉语言模型、多模态代理、语音处理、向量数据库和检索增强生成(RAG)等功能。这个项目致力于简化LLM的部署和应用，特别适合需要高效本地推理的场景。NanoLLM目前的最新版本是24.7，可通过Docker容器方便部署。有兴趣的开发者可以访问项目的官方文档获取更多详细信息和使用指南。