Logo
Project Icon

LitServe

基于FastAPI的高性能AI模型部署引擎 支持批处理和GPU自动扩展

LitServeAI模型部署高性能服务FastAPIGPU自动缩放Github开源项目

LitServe是一个基于FastAPI构建的AI模型部署引擎，具有高吞吐量和可扩展性。它提供批处理、流式传输和GPU自动扩展功能，支持多模态和多框架，适用于嵌入、LLM服务、音频处理等多种AI任务。基准测试显示，LitServe在并发请求处理方面表现优于FastAPI和TorchServe。该引擎还提供完全控制权和内置认证功能，无需为每个模型重新构建服务器。

访问官网访问官网GithubGithub文档文档
介绍相关项目
aikit - 简化部署和优化大型语言模型的平台
AIKitDockerGithubKubernetesLocalAIOpenAI API开源项目
AIKit是一个全方位平台，专为快速部署、构建和微调大型语言模型（LLM）而设计。它支持OpenAI API兼容的推理和灵活的微调接口，无需GPU即可使用。AIKit还支持多模式模型、图像生成、多平台CPU和GPU加速推理以及Kubernetes部署，简化了开发流程并确保供应链安全，适用于各种环境。
llama-api-server - 开源RESTful API服务器，兼容OpenAI API
AIAPIGithubllama-api-server安装开源项目模型
llama-api-server是一个开源RESTful API服务器，兼容OpenAI API并支持llama和llama2等后端。用户可以通过PyPI下载、配置模型和安全令牌文件后启动服务器。该项目支持广泛的GPT工具和框架，提供详尽的安装及使用指南。其主要功能包括文本完成、嵌入和聊天，并支持参数设置如温度和顶级概率。项目正处于积极开发阶段，未来将添加更多功能和文档。
openai-forward - 语言模型转发服务，支持本地及云端语言模型
API密钥管理GithubOpenAI Forward开源项目异步性能用户流量控制缓存AI预测
OpenAI-Forward 提供高效的语言模型转发服务，具备用户请求速率控制、Token速率限制、智能预测缓存、日志管理和API密钥管理等功能。依托 uvicorn、aiohttp 和 asyncio 实现卓越的异步性能。支持代理本地语言模型（如 LocalAI）和云端语言模型（如 OpenAI），并通过最新版本的 WebUI 进行配置管理，提升用户体验。
leapfrogai - 自托管AI平台，适用于隔离网络和资源受限环境
AI平台GithubKubernetesLeapfrogAI大语言模型开源项目自托管
LeapfrogAI是一个自托管AI平台，设计用于隔离网络和资源受限环境。它提供了向量数据库、模型后端、API和用户界面等功能，使用户能够在保持数据独立性和成本效益的同时，定制化地实施AI技术。支持多种后端以及Kubernetes和Zarf部署方式，广泛适用于各种应用场景。
LITv2 - 基于HiLo注意力的快速视觉Transformer
GithubHiLo注意力LITv2图像分类开源项目目标检测视觉Transformer
LITv2是一种基于HiLo注意力机制的高效视觉Transformer模型。它将注意力头分为两组,分别处理高频局部细节和低频全局结构,从而在多种模型规模下实现了优于现有方法的性能和更快的速度。该项目开源了图像分类、目标检测和语义分割任务的预训练模型和代码实现。
shipfast - 免费的生成式AI和大型语言模型SaaS源码库
AI服务DjangoGenerative AIGithubReactShipFast开源项目
ShipFast是一个免费的SaaS源码库，专注于生成式人工智能（GenAI）、大型语言模型（LLM）及其他AI服务。项目功能包括账户管理、订阅管理、内容管理系统（CMS）、OpenAI API 集成和业务想法生成器。未来更新计划包含角色聊天、文档聊天、AI写作助手、AI图像生成和图像搜索引擎。前端采用React与GraphQL，后端基于Python和Django，部署在AWS基础设施上。项目正在开发中，欢迎关注最新动态。
ray-llm - 简化LLM部署，利用Ray Serve和vLLM实现高效性能
AnyscaleGithubLLMRay ServeRayLLMvLLM开源项目
RayLLM是一种简便的解决方案，用于部署和管理多种开源LLM，利用Ray Serve和vLLM的功能，包括自动扩展、多GPU和多节点支持。RayLLM支持连续批处理和量化，大幅提高吞吐量并降低推理成本。通过REST API轻松迁移和测试，并集成多种LLM后端，提供灵活高效的解决方案。
S-LoRA - 大规模并发LoRA适配器高效服务系统
GPU内存优化GithubLoRA适配器S-LoRA大语言模型开源项目批处理推理
S-LoRA系统针对大规模LoRA适配器服务进行优化。采用统一分页、异构批处理和新型张量并行策略，提高内存管理效率和GPU利用率。相较现有技术，S-LoRA提升吞吐量4倍，显著增加可服务适配器数量。这一突破为大规模定制语言模型部署开辟新途径。
lightning-flash - 跨数据领域和任务的AI模型训练与处理解决方案
AIGithubPyTorchlightning-flash开源项目模型训练深度学习
Lightning Flash提供多任务和多数据领域的AI解决方案，用户只需三步即可完成数据加载、模型配置和微调。项目支持多种预训练模型和优化策略，简化深度学习工作流程，适用于各种数据域和任务类型。其功能包括模型预测、训练策略、优化器和调度器选择，以及自定义数据变换。Flash旨在让用户无需自行开发复杂的研究框架，即可在生产环境中应用AI模型。
vllm - 高性能与易用性的LLM推理与服务平台
GithubLLM服务PagedAttentionvLLM开源项目量化高吞吐量
vLLM是一个高性能且易用的LLM推理与服务平台，具备PagedAttention内存管理、CUDA/HIP图形加速、量化支持、并行解码算法及流式输出等技术优势。vLLM无缝集成Hugging Face模型，兼容多种硬件设备，支持分布式推理和OpenAI API。最新版本支持Llama 3.1和FP8量化。用户可通过pip安装并参考详细文档快速入门。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

稿定AI

稿定设计 是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号