相关项目
Salieri
Salieri平台提供知识驱动的多智能体应用生成器，开发者可通过简单指令构建个性化AI应用。该平台专注于优化LLM token使用，采用创新算法提升AI代理认知功能，同时降低成本。为追求效率和可靠性的开发者提供工具，助力将创意转化为实际应用。平台特色包括直观界面、多智能体技术和成本优化算法，让开发过程更高效、更经济。
NanoLLM
NanoLLM是一个开源工具包，专注于优化大型语言模型(LLM)的本地推理性能。它提供了类HuggingFace的API接口，支持模型量化、视觉语言模型、多模态代理、语音处理、向量数据库和检索增强生成(RAG)等功能。这个项目致力于简化LLM的部署和应用，特别适合需要高效本地推理的场景。NanoLLM目前的最新版本是24.7，可通过Docker容器方便部署。有兴趣的开发者可以访问项目的官方文档获取更多详细信息和使用指南。