#Serge

Serge是一个开源的自托管大语言模型聊天平台，基于llama.cpp开发，支持运行GGUF模型。该项目采用SvelteKit构建前端，使用Redis存储聊天历史，并通过FastAPI和LangChain封装API。Serge目前支持超过30种主流大语言模型，如LLaMA、Mistral和Mixtral等。用户可以通过Docker或Kubernetes快速部署，无需API密钥即可搭建私有AI聊天服务。其简单的用户界面使得即使非技术用户也能轻松搭建和管理自己的AI聊天服务。