Logo
Project Icon

serving

灵活且高效的机器学习模型推理平台

TensorFlow Serving模型部署机器学习高性能推理DockerGithub开源项目

TensorFlow Serving 是一个为生产环境设计的灵活且高性能的机器学习模型推理系统。它管理训练后的模型生命周期，通过高效查询表提供版本化访问，支持多模型和多版本同时部署。系统支持 gRPC 和 HTTP 推理端点，允许无缝部署新版本，支持金丝雀发布和 A/B 测试，并且延迟极低。调度器将推理请求分组以在 GPU 上联合执行，支持包括 TensorFlow 模型、嵌入、词汇表和特征转换在内的多种服务对象。

访问官网访问官网GithubGithub文档文档
介绍相关项目
folotoy-server-self-hosting - AI 对话服务器支持多种语言模型和语音技术
FolotoyGithubMQTT大型语言模型开源项目自托管服务器语音交互
folotoy-server-self-hosting 是一个自托管的 AI 对话服务器。它支持语音输入输出，集成多种语言模型、语音识别和文本转语音技术。该项目通过 MQTT 发布对话数据，提供灵活的 AI 交互体验。适合开发者和爱好者自定义 AI 对话解决方案。
modelmesh - 高扩展性分布式模型服务管理框架
GithubKubernetesModelMesh分布式缓存开源项目模型服务管理高规模服务
ModelMesh是一个通用的模型服务管理框架，适用于大规模、高密度和动态变化的模型部署环境。它作为分布式LRU缓存，与各种模型服务器协同工作，优化运行时模型的服务。支持Kubernetes部署，提供自定义资源管理，并能无缝集成多种开源模型服务器。
models - 推荐系统深度学习模型库
GPU加速GithubMerlin ModelsTensorFlow开源项目推荐系统深度学习
Merlin Models是专为推荐系统设计的深度学习库，提供从经典机器学习到前沿深度学习的多种高质量模型实现。该库简化了模型训练和部署流程，内置行业最佳实践，并支持GPU加速。Merlin Models主要提供TensorFlow API，包含矩阵分解、双塔模型等经典和最新推荐模型架构。此外，它还提供可重用的构建块，便于自定义模型，并与Merlin平台其他组件无缝集成，支持构建完整的推荐系统流程。
serge - 开源自托管大语言模型聊天平台
AI模型GithubLLaMASerge开源项目聊天界面自托管
Serge是一个开源的自托管大语言模型聊天平台，基于llama.cpp开发，支持运行GGUF模型。该项目采用SvelteKit构建前端，使用Redis存储聊天历史，并通过FastAPI和LangChain封装API。Serge目前支持超过30种主流大语言模型，如LLaMA、Mistral和Mixtral等。用户可以通过Docker或Kubernetes快速部署，无需API密钥即可搭建私有AI聊天服务。其简单的用户界面使得即使非技术用户也能轻松搭建和管理自己的AI聊天服务。
worker-vllm - 基于vLLM的OpenAI兼容无服务器LLM推理端点
GithubLLMOpenAIRunPodvLLM开源项目推理引擎
worker-vllm是一个基于vLLM推理引擎的OpenAI兼容无服务器端点部署工具。该项目可在RunPod Serverless上快速部署高性能的大语言模型(LLM)推理端点,操作简单便捷。worker-vllm充分利用vLLM的高效推理能力,为开发者提供快速、易用的LLM部署方案,有助于简化AI应用的构建过程。
FlagAI - 高效易用的大规模AI模型开发工具
FlagAIGithub中文任务多模态大规模模型并行训练开源项目
FlagAI是一款高效易用的大规模AI模型开发工具。它支持Aquila、AltCLIP、GLM等30多种主流模型的快速部署和微调，特别擅长中文自然语言处理任务。FlagAI可用于文本分类、信息抽取、问答、摘要生成等多种应用场景，并提供便捷的少样本学习工具。此外，FlagAI支持简洁的并行训练实现，有助于提高开发效率。
recommender-system-tutorial - 使用TensorFlow和Keras构建推荐系统的实践教程
GithubMovieLens数据集TensorFlow开源项目推荐系统机器学习深度学习
本项目提供了一个详细的推荐系统开发教程，基于TensorFlow Recommenders和Keras。教程介绍了信息检索和推荐系统基础，通过Jupyter notebook展示了MovieLens数据集处理、特征预处理、检索和排序模型构建，以及Spotify Annoy相似项搜索。内容涵盖了推荐系统的核心技术和实践方法，适合学术研究者和业界专业人士学习。
cf-openai-azure-proxy - Cloudflare Worker代理实现Azure OpenAI服务无缝接入
Azure OpenAI ServiceCloudflare WorkerGithubOpenAI代理客户端开源项目部署
cf-openai-azure-proxy项目通过Cloudflare Worker为OpenAI客户端提供Azure OpenAI Service的接入能力。支持GPT-3、GPT-4和DALL-E-3模型，实现打印机模式响应，可选Docker部署。无需服务器和域名，每日免费10万次请求。用户只需在Cloudflare Worker中部署代码并配置即可使用，为Azure OpenAI服务用户提供便捷接入方案。
Aidget - 边端AI算法部署工具链 高性能推理和自动化模型压缩
AidgetGithub开源项目模型压缩深度学习推理引擎边端AI高性能计算
Aidget是一款边端AI算法部署工具链，集成高性能深度学习推理引擎和模型自动化压缩功能。适用于多种边端系统和平台，支持ONNX和TFLite等多种模型格式。特点包括轻量级部署、强通用性、易用性和高性能推理。已在智能家电领域得到实际应用，有效解决AI算法部署中的资源限制、性能优化和跨平台兼容性等问题。
相关项目
项目侧边栏1项目侧边栏2
推荐项目
Project Cover

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

Project Cover

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

Project Cover

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Project Cover

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

Project Cover

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

Project Cover

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

Project Cover

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

Project Cover

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

Project Cover

AIWritePaper论文写作

AIWritePaper论文写作是一站式AI论文写作辅助工具，简化了选题、文献检索至论文撰写的整个过程。通过简单设定，平台可快速生成高质量论文大纲和全文，配合图表、参考文献等一应俱全，同时提供开题报告和答辩PPT等增值服务，保障数据安全，有效提升写作效率和论文质量。

使用协议隐私政策广告服务
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号