Project Icon

serge

开源自托管大语言模型聊天平台

Serge是一个开源的自托管大语言模型聊天平台,基于llama.cpp开发,支持运行GGUF模型。该项目采用SvelteKit构建前端,使用Redis存储聊天历史,并通过FastAPI和LangChain封装API。Serge目前支持超过30种主流大语言模型,如LLaMA、Mistral和Mixtral等。用户可以通过Docker或Kubernetes快速部署,无需API密钥即可搭建私有AI聊天服务。其简单的用户界面使得即使非技术用户也能轻松搭建和管理自己的AI聊天服务。

modelz-llm - 开源大语言模型推理服务器,支持本地和云端部署并兼容OpenAI API
GithubModelz LLMOpenAI兼容 API云原生开源LLMs开源项目自托管
Modelz LLM 是一款推理服务器,支持在本地或云端环境中运行开源大语言模型(LLM),如FastChat、LLaMA和ChatGLM,并兼容OpenAI API。用户可以通过OpenAI Python SDK或LangChain与模型交互,支持将不同LLM的Docker镜像部署在Kubernetes等云原生环境,便于开发者快速上手和灵活部署各种AI应用。
sveltekit-ai-chatbot - SvelteKit构建的开源AI聊天机器人模板
AI聊天机器人GithubOpenAISvelteKitTailwind CSSVercel开源项目
这是一个用SvelteKit、Vercel AI SDK、OpenAI和Vercel KV构建的开源AI聊天机器人模板。支持多种AI模型,并可快速部署和本地运行。具有流式聊天UI、多模型支持、边缘运行时、丰富的UI组件和身份验证等功能。
vercel-llm-api - 免费获取多种LLM模型的API封装
API封装ChatGPTGithubLLMVercel AI Playground开源项目模型下载
这是一款经过反向工程的API封装,提供对多种大型语言模型(LLM)的免费访问,包括OpenAI的ChatGPT和Cohere的Command Nightly。用户可以下载模型、生成文本和聊天消息,自定义参数并进行流式传输。支持使用代理,但目前不支持认证和高级模型。
secret-llama - 浏览器端运行的私密LLM聊天机器人 支持多种开源模型
GithubLLMSecret LlamaWebGPU开源模型开源项目浏览器应用
Secret Llama是一款在浏览器中运行的私密LLM聊天机器人,支持Llama 3、Mistral等开源模型。对话数据完全保留在本地计算机,无需服务器或安装。界面易用性媲美ChatGPT,支持离线工作。运行需要支持WebGPU的现代浏览器,不同模型可能有特定内存要求。项目欢迎贡献者参与改进界面、扩展模型支持和优化加载性能。
unsaged - 支持多种AI模型的无缝互动聊天工具
AI模型GithubNext.jsSupabaseunsaged多用户支持开源项目
unsaged是一款聊天套件,支持用户与多种AI模型进行对话,并在不同设备间同步。该工具结合了Next.js和Supabase,提供多用户管理、模型切换、系统提示和消息模板等功能,支持OpenAI的GPT系列、Anthropic的Claude系列和Google的Chat Bison等模型,适合整合多种AI服务的使用场景。
llama3-Chinese-chat - llama3中文版上线,提供多样化微调和部署选项
API部署Githubllama3中文化开源项目微调模型训练
llama3中文版本发布,提供丰富中文对话数据集和多种微调选项(如DPO、SFT、RLHF)。项目包含详细的API部署教程、本地LMStudio教程和vLLM云端部署方式,适用于不同用户需求。欢迎加入,完善中文AI模型。
mlc-llm - 通用大语言模型高性能部署引擎
AI模型优化GithubMLC LLMMLCEngine开源项目机器学习编译器高性能部署
MLC LLM是一款用于大语言模型的高性能部署引擎,支持用户在各种平台上开发、优化和部署AI模型。核心组件MLCEngine通过REST服务器、Python、JavaScript、iOS和Android等接口提供OpenAI兼容的API,支持AMD、NVIDIA、Apple和Intel等多种硬件平台。项目持续优化编译器和引擎,与社区共同发展。
keras-llm-robot - 基于Langchain和Fastchat开源框架的Web应用,支持多模态、RAG和Agent等多功能
GithubKeras-llm-robotWeb UI多模态模型开源开源项目语言模型
keras-llm-robot是一套基于Langchain和Fastchat开源框架的Web应用,支持多模态、RAG和Agent等多功能。项目完全开源,适合在Hugging Face平台上测试和部署各类模型。用户可自定义模型组合以适应不同的部署和实验需求,同时提供语音和图像识别、代码执行、实时翻译等多元化功能。
sglang - 大语言模型和视觉语言模型高效服务框架
GithubSGLang前端语言后端运行时大语言模型开源项目服务框架
SGLang是一款为大语言模型和视觉语言模型设计的服务框架。该框架通过协同优化后端运行时和前端语言,提高了模型交互的速度和可控性。其后端运行时采用前缀缓存、约束解码和连续批处理等技术提升效率。前端语言支持链式生成调用、高级提示、控制流和多模态等功能,增强了灵活性。SGLang适用于各类LLM应用的快速开发和部署。
chatgpt-vercel - 基于 OpenAI API 的多功能开源聊天应用
AI对话ChatGPT-VercelGithubVercel开源项目部署
ChatGPT-Vercel 是基于 OpenAI API 开发的开源聊天应用。该项目具有简洁的界面,支持多对话、Prompts 预设和自定义设置等功能。用户可实时查看 token 消耗,导出导入对话记录。此外,该应用还可作为搜索引擎使用。ChatGPT-Vercel 支持在 Vercel、Netlify 等平台上轻松部署,为开发者和用户提供了灵活的 AI 聊天解决方案。
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手,通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能,支持100+编程语言,与主流编辑器无缝集成,显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台,能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐,Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案,通过智能技术简化视频制作流程。无论是企业宣传还是个人分享,有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持,能够阅读和理解用户上传的文件内容,解析网页信息,并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题,Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术,为商家提供一键生成商品图和营销文案的服务,显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台,让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型,免费访问各种图像生成与AI训练工具,从Stable Diffusion等基础模型开始,轻松实现创新图像生成。体验前沿的AI技术,推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器,它将改变您观看视频的方式!SubCat结合了先进的人工智能技术,为您提供即时视频字幕翻译,无论是本地视频还是网络流媒体,让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台,利用前沿AI技术,为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图,再到文案生成,美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具,简化了选题、文献检索至论文撰写的整个过程。通过简单设定,平台可快速生成高质量论文大纲和全文,配合图表、参考文献等一应俱全,同时提供开题报告和答辩PPT等增值服务,保障数据安全,有效提升写作效率和论文质量。

投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号