#云原生
modelz-llm学习资料汇总-OpenAI兼容API服务器
pezzo
Pezzo是一个云原生的开源LLMOps平台，能够无缝监控和管理AI操作，解决问题，节省多达90%的成本和延迟。用户可在一个平台上协作和管理提示，并快速应用AI变更。Pezzo支持Node.js、Python和LangChain，并提供详细文档和教程，帮助用户快速上手。
kong
Kong API Gateway是一个云原生、平台无关的API网关，以其高性能和通过插件进行扩展的能力而著称。支持代理、路由、负载均衡、健康检查、鉴权等功能，使其成为微服务或传统API流量的中心协调层。此外，Kong在Kubernetes上原生运行，提供官方的Kubernetes Ingress Controller。
deepflow
DeepFlow项目为复杂的云原生与AI应用提供深度可观测性，通过eBPF实现零代码数据采集，涵盖全栈关联和高效访问所有观测数据。主要功能包括通用服务地图、零代码分布式追踪、连续函数分析和与主流观测堆栈的无缝集成。DeepFlow帮助开发者简化代码监测，为DevOps/SRE团队提供全面的监控与诊断能力。
rill-flow
Rill Flow 是一款高性能和可扩展的分布式工作流管理服务，支持每日处理数以千万计的任务，执行延迟低于100毫秒。核心功能包括易用的可视化流程编排、插件集成、云原生容器部署与函数编排，并支持快速集成大型语言模型服务，适用于异构分布式系统的编排与调度。
modelz-llm
Modelz LLM 是一款推理服务器，支持在本地或云端环境中运行开源大语言模型（LLM），如FastChat、LLaMA和ChatGLM，并兼容OpenAI API。用户可以通过OpenAI Python SDK或LangChain与模型交互，支持将不同LLM的Docker镜像部署在Kubernetes等云原生环境，便于开发者快速上手和灵活部署各种AI应用。
micro-company
项目展示如何使用Spring Cloud和Axon来构建云原生、事件驱动的微服务架构。通过微服务、CQRS和事件溯源，它实现了跨多个微服务的最终一致性事务，并自动发布事件和提供审计功能。项目包含详细运行指南，包括单体部署、本地Docker、Docker Swarm集群和Pivotal Cloud Foundry，方便开发者快速上手。阅读Axon文档可以进一步了解CQRS和事件溯源的细节。
vearch
Vearch是一个提供云原生分布式向量数据库的开源项目，专注于实现嵌入向量的高效相似性搜索。支持混合搜索与标量过滤，具备从百万对象中毫秒级别检索的高性能。同时，Vearch还具备复制和弹性扩展的能力。提供的文档资源包括Restful API、OpenAPI和多语言SDK，适用于构建可视化搜索系统和作为AI内存后端。
ElegantRL
ElegantRL是一个云原生的大规模并行深度强化学习框架，支持多种DRL算法和多代理环境。其核心代码少于1000行，具备轻量、高效和弹性特点。通过微服务架构和容器化，支持大规模计算节点扩展，并自动分配云端资源。相比Ray RLlib和Stable Baselines 3，ElegantRL在单GPU、多GPU和云平台测试中更稳定高效。广泛应用于RLSolver、FinRL等项目，并支持Isaac Gym等模拟器。
kubesphere
KubeSphere是以Kubernetes为核心的分布式操作系统，支持多云、多集群和边缘计算的统一管理。其插拔式架构允许无缝集成第三方应用，提供全栈自动化运维和DevOps工作流。平台具备直观的Web UI，帮助企业构建功能丰富的多租户容器平台，覆盖Kubernetes多集群管理、云原生可观测性、服务网格和边缘计算等关键功能。最新的v3.4.0版本进一步提升了用户体验，并带来了多项功能更新。