Logo
Project Icon

llm-gateway

为OpenAI和Cohere等第三方LLM提供商设计的网关

llm-gatewayOpenAILLM提供商敏感信息清理APIGithub开源项目

llm-gateway是一个为OpenAI和Cohere等第三方LLM提供商设计的网关。它通过PII数据清理机制和Postgres数据库数据跟踪确保安全交互，并复刻了ChatGPT前端以保持API内通信。支持OpenAI GPT系列、Anthropic Claude系列及Meta Llama系列模型。提供便捷的API和Python调用设置，本项目使用Poetry和Pyenv进行依赖和环境管理，并支持Docker开发，适合开发者快速上手。

访问官网访问官网GithubGithub文档文档
介绍相关项目
chatllm.cpp - 跨多模型的高效纯C++实时推理工具
CPU推理ChatLLM.cppGPT模型Githubggml开源项目量化模型
ChatLLM.cpp项目支持从1B到300B多种模型的高效推理，适用于本地电脑的实时聊天。通过优化的KV缓存和并行计算提升内存使用效率，并提供int4/int8量化以减少内存占用。该项目基于ggml库实现，支持Retrieval Augmented Generation、LoRA以及Python和JavaScript绑定等功能。发布了多种最新模型和工具调用，适合深度学习和自监督学习研究者。
llm-numbers - LLM开发者必知的关键数据和实用见解
AIGPUGithubLLMOpenAIRay开源项目
该项目汇集了LLM开发中的重要数据和见解，包括提示工程、模型训练和GPU内存管理等方面。内容涵盖成本比率、训练费用和GPU内存要求，为开发者提供决策参考和资源优化指导。这些信息有助于快速评估和理解LLM开发的关键因素，是大语言模型开发者的实用参考资料。
QA-Pilot - 利用LLM模型的GitHub代码库交互式聊天工具
GitHub代码仓库GithubLLM模型QA-Pilotcode graph开源项目聊天功能
此项目是一个互动聊天工具，利用在线和本地LLM模型来快速理解和导航GitHub代码库。支持多种LLM模型如Ollama、OpenAI、Mistralai等，能够存储聊天记录、进行多聊天室会话，并快速定位会话。还集成了CodeGraph以查看Python文件。最新版本增加了对Moonshot和Nvidia API的支持，旨在验证本地解决方案的可行性，不建议用于分析关键数据或敏感代码库。
chat2api - ChatGPT代理工具 免费GPT-3.5和高级模型支持
API代理Chat2APIChatGPTGPT-4Github免登录开源项目
Chat2API是一款功能丰富的ChatGPT代理工具。它支持免账号使用GPT-3.5，通过AccessToken访问GPT-4和GPTs。该项目提供流式和非流式传输，支持多账号轮询、自动重试和Token管理。Chat2API还具备文件上传、WebUI界面和网关模式，可多机分布部署。其回复格式与官方API一致，适配多种客户端，为AI开发和应用提供便利。
llm.c - 纯C和CUDA实现的高效轻量级语言模型训练框架
CUDAC语言GPU训练GithubLLM开源项目
llm.c是一个使用纯C和CUDA实现的高效轻量级语言模型训练框架。该项目不依赖PyTorch或cPython等大型框架，通过简洁代码实现GPT-2和GPT-3系列模型的预训练。llm.c支持单GPU、多GPU和多节点训练，提供详细教程和实验示例。项目在保持代码可读性的同时追求高性能，适用于教育和实际应用。此外，llm.c支持多种硬件平台，并有多个编程语言的移植版本。
llama3-Chinese-chat - llama3中文版上线，提供多样化微调和部署选项
API部署Githubllama3中文化开源项目微调模型训练
llama3中文版本发布，提供丰富中文对话数据集和多种微调选项（如DPO、SFT、RLHF）。项目包含详细的API部署教程、本地LMStudio教程和vLLM云端部署方式，适用于不同用户需求。欢迎加入，完善中文AI模型。
azure-openai-proxy - Azure OpenAI API和自定义模型转发的高效代理
APIAzure OpenAI ProxyGithub代理开源项目模型映射部署
该项目提供了高效的代理解决方案，支持所有Azure OpenAI API和自定义精调模型，能够将OpenAI请求转换为Azure请求。适用于各种开源ChatGPT项目的后端，并解决了一些地区对OpenAI API的限制问题。支持正反向代理和API接口mock功能，非常适合需要灵活部署的场景。
smartgpt - 为 LLM 提供使用插件完成复杂任务的能力
AutoGPTGPT-4GithubSmartGPT内存管理开源项目插件系统
SmartGPT是一种实验性项目，通过模块化和插件系统支持，将GPT-3.5和GPT-4用于自动完成复杂任务。其特点包括自动配置、动态执行和静态工具链。虽然在生态系统和内存管理方面有一些限制，但SmartGPT正在探索并推动大型语言模型的最大潜力。适合对AI创新感兴趣的开发者。
chatgpt-web-midjourney-proxy - 整合ChatGPT、Midjourney等多种AI技术的创作平台
AI绘图ChatGPTGithubMidjourney多功能聊天机器人开源项目
该平台整合了ChatGPT、Midjourney、Suno和Luma等多种AI技术，提供文字聊天、图像生成、音乐创作和视频制作功能。支持Midjourney的文生图、图生图和局部重绘，以及GPT-4的图像理解和多模态交互。平台具有丰富的自定义选项和多种部署方式，并不断增加新功能如语音识别和文件上传，为AI创作提供全面解决方案。
AILink - 支持多模型接入与多AI功能
Azure登录ChatGPTCluadeGPT4GithubMidjourney绘图开源项目
AILink 商业版支持手机短信注册、主流支付、自定义模型接口和关键词过滤功能，并对接多家模型厂商如GPT-4、Midjourney和百度文心一言。高级版支持描述生成图片和实时对话。开源版提供自定义 Token 管理和 Docker 一键部署，适用于 AMD64 和 ARM64 平台，简化AI部署过程。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号