#模型部署

clearml

ClearML是一个开源平台，集成了实验管理、MLOps/LLMOps、数据管理、模型服务和报告生成功能。支持云端和本地部署，帮助用户实现AI项目的高效管理和自动化，包括实验记录、数据版本控制、模型部署与监控等。ClearML支持多种机器学习和深度学习框架，并与Jupyter Notebook无缝集成，适合团队协作和远程任务执行，提升AI工作流效率。

pytorch-lightning

深度学习框架Pytorch-Lightning 2.0版本现已推出，提供清晰稳定的API，支持AI模型的预训练、微调和部署。该框架轻松实现Pytorch代码组织，将科学研究与工程实现分离，帮助研究人员和工程师高效进行模型训练与部署。通过提供各种训练和部署选项以及兼容多种硬件和加速器，Pytorch-Lightning兼顾模型的灵活性和可扩展性，适应从初学者到专业AI研究的不同需求。

openvino

OpenVINO™是一款开源软件工具包，用于优化和部署深度学习模型。它支持多种框架如TensorFlow、PyTorch等，能在从边缘到云的多种平台上高效部署。此工具包还包含大量社区资源和教程，助力提升计算机视觉、自然语言处理等领域的模型性能。

inference

Xorbits Inference 是一个强大的库，旨在简化语言、语音识别和多模态模型的部署。研究人员、开发者和数据科学家都可以通过一个命令轻松部署和服务先进的内置模型。该库支持连续批处理、MLX后端、SGLang后端及LoRA技术，提供高效的硬件资源利用。Xorbits Inference 与LangChain、LlamaIndex等第三方库无缝集成，支持分布式部署和多种交互接口，是AI模型服务的理想工具。

langcorn

LangCorn利用FastAPI实现高效的LangChain模型和管道部署与管理。主要功能包括便捷的身份验证、高性能请求处理、可扩展的语言处理及异步处理支持。通过pip安装并使用详尽的RESTful API文档，用户可以快速启动。适合高效、可靠的语言处理应用。

Made-With-ML

Made With ML 是开发者学习设计、开发、部署和迭代机器学习生产系统的开放资源。它提供完整课程和代码实践指导，支持本地及云集群环境配置，适合求知欲强的技术人员和研究者。

text-embeddings-inference

Text Embeddings Inference 为文本嵌入模型提供高效的推理服务，支持多种模型配置，适合AI及深度学习需求。快速部署和卓越的服务器级性能使其成为企业和研究机构面对大规模文本处理和复杂查询时的理想选择，支持包括 [BERT](https://link-to-bert) 和 [RoBERTa](https://link-to-roberta) 在内的多种模型，并兼容 Docker 和完备的 API 文档。

Get-Things-Done-with-Prompt-Engineering-and-LangChain

探索如何使用ChatGPT/GPT-4和LangChain在Python中构建实际应用程序。从快速开始指南到深度调优，多种教程和实战项目帮助用户在AI领域实现快速成长。

serving

TensorFlow Serving 是一个为生产环境设计的灵活且高性能的机器学习模型推理系统。它管理训练后的模型生命周期，通过高效查询表提供版本化访问，支持多模型和多版本同时部署。系统支持 gRPC 和 HTTP 推理端点，允许无缝部署新版本，支持金丝雀发布和 A/B 测试，并且延迟极低。调度器将推理请求分组以在 GPU 上联合执行，支持包括 TensorFlow 模型、嵌入、词汇表和特征转换在内的多种服务对象。