#云原生
Modelz LLM: 开源大语言模型的OpenAI兼容API服务
pezzo
Pezzo是一个云原生的开源LLMOps平台,能够无缝监控和管理AI操作,解决问题,节省多达90%的成本和延迟。用户可在一个平台上协作和管理提示,并快速应用AI变更。Pezzo支持Node.js、Python和LangChain,并提供详细文档和教程,帮助用户快速上手。
kong
Kong API Gateway是一个云原生、平台无关的API网关,以其高性能和通过插件进行扩展的能力而著称。支持代理、路由、负载均衡、健康检查、鉴权等功能,使其成为微服务或传统API流量的中心协调层。此外,Kong在Kubernetes上原生运行,提供官方的Kubernetes Ingress Controller。
deepflow
DeepFlow项目为复杂的云原生与AI应用提供深度可观测性,通过eBPF实现零代码数据采集,涵盖全栈关联和高效访问所有观测数据。主要功能包括通用服务地图、零代码分布式追踪、连续函数分析和与主流观测堆栈的无缝集成。DeepFlow帮助开发者简化代码监测,为DevOps/SRE团队提供全面的监控与诊断能力。
rill-flow
Rill Flow 是一款高性能和可扩展的分布式工作流管理服务,支持每日处理数以千万计的任务,执行延迟低于100毫秒。核心功能包括易用的可视化流程编排、插件集成、云原生容器部署与函数编排,并支持快速集成大型语言模型服务,适用于异构分布式系统的编排与调度。
modelz-llm
Modelz LLM 是一款推理服务器,支持在本地或云端环境中运行开源大语言模型(LLM),如FastChat、LLaMA和ChatGLM,并兼容OpenAI API。用户可以通过OpenAI Python SDK或LangChain与模型交互,支持将不同LLM的Docker镜像部署在Kubernetes等云原生环境,便于开发者快速上手和灵活部署各种AI应用。
micro-company
项目展示如何使用Spring Cloud和Axon来构建云原生、事件驱动的微服务架构。通过微服务、CQRS和事件溯源,它实现了跨多个微服务的最终一致性事务,并自动发布事件和提供审计功能。项目包含详细运行指南,包括单体部署、本地Docker、Docker Swarm集群和Pivotal Cloud Foundry,方便开发者快速上手。阅读Axon文档可以进一步了解CQRS和事件溯源的细节。
vearch
Vearch是一个提供云原生分布式向量数据库的开源项目,专注于实现嵌入向量的高效相似性搜索。支持混合搜索与标量过滤,具备从百万对象中毫秒级别检索的高性能。同时,Vearch还具备复制和弹性扩展的能力。提供的文档资源包括Restful API、OpenAPI和多语言SDK,适用于构建可视化搜索系统和作为AI内存后端。
ElegantRL
ElegantRL是一个云原生的大规模并行深度强化学习框架,支持多种DRL算法和多代理环境。其核心代码少于1000行,具备轻量、高效和弹性特点。通过微服务架构和容器化,支持大规模计算节点扩展,并自动分配云端资源。相比Ray RLlib和Stable Baselines 3,ElegantRL在单GPU、多GPU和云平台测试中更稳定高效。广泛应用于RLSolver、FinRL等项目,并支持Isaac Gym等模拟器。
kubesphere
KubeSphere是以Kubernetes为核心的分布式操作系统,支持多云、多集群和边缘计算的统一管理。其插拔式架构允许无缝集成第三方应用,提供全栈自动化运维和DevOps工作流。平台具备直观的Web UI,帮助企业构建功能丰富的多租户容器平台,覆盖Kubernetes多集群管理、云原生可观测性、服务网格和边缘计算等关键功能。最新的v3.4.0版本进一步提升了用户体验,并带来了多项功能更新。