相关项目
higress
Higress是基于Istio和Envoy构建的云原生API网关，专为AI业务设计。它提供统一协议对接、可观测性、多模型负载均衡、AI token流控和缓存等功能。支持Kubernetes Ingress、微服务和安全防护等场景，具备生产级性能、流式处理、易扩展和安全易用特性。
APIPark
APIPark是一个开源AI网关和API开发者平台，支持管理、集成和部署多种AI服务。平台提供对超过100种AI模型的快速集成，通过统一API格式实现跨模型调用，并支持将模板转换为REST API。还具备API全生命周期管理和多租户独立访问权限，适用于多种企业需求，同时通过详尽的API日志和数据分析提供系统稳定性和安全性。