higress
Higress是基于Istio和Envoy构建的云原生API网关,专为AI业务设计。它提供统一协议对接、可观测性、多模型负载均衡、AI token流控和缓存等功能。支持Kubernetes Ingress、微服务和安全防护等场景,具备生产级性能、流式处理、易扩展和安全易用特性。