GPTCache
GPTCache专为大型语言模型(LLM)设计,通过建立语义缓存库存储响应,以有效降低API调用费用并加快响应速度。项目兼容多种LLM,实现常见查询的缓存,简化重复请求,适合高效部署于生产环境。欢迎访问最新文档和发布通告。