Logo

#多租户

ModelCache学习资料汇总 - 大语言模型语义缓存系统

1 个月前
Cover of ModelCache学习资料汇总 - 大语言模型语义缓存系统

Venice: 面向星球级工作负载的衍生数据平台

2 个月前
Cover of Venice: 面向星球级工作负载的衍生数据平台

Backend.AI: 革新人工智能开发的强大后端平台

2 个月前
Cover of Backend.AI: 革新人工智能开发的强大后端平台

ModelCache:为大语言模型打造的高效语义缓存系统

2 个月前
Cover of ModelCache:为大语言模型打造的高效语义缓存系统

相关项目

Project Cover
ModelCache
ModelCache 是一种优化大型语言模型(LLMs)响应的语义缓存工具,通过缓存预计算的模型结果,迅速响应相似请求,提升用户体验。它支持多租户,并通过 Redis Search 将缓存与向量数据库的交互时间减至 10ms。该项目整合了多种嵌入框架及本地存储选项如 sqlite 和 faiss,便于用户迅速测试。其目标是降低推理部署成本、提升模型性能和提供可扩展的大型模型服务。
Project Cover
venice
Venice是一个衍生数据存储平台,提供高吞吐量的批处理和流处理数据异步摄取,低延迟的在线读取,基于CRDT的区域间主动主动复制,多集群支持和多租户水平伸缩能力。适用于Feathr等特征存储,支持离线、近线和在线工作负载的多种写操作和读取API,具有分片感知和本地缓存功能的客户端模式,满足不同性能和成本需求。
Project Cover
recipes
本库包含多个Weaviate的端到端示例,介绍了向量搜索、混合搜索、生成式搜索、重排、多租户等功能,并展示了与谷歌、AWS、Confluent、Spark、LangChain等技术的集成。欢迎社区用户提出建议并贡献,以不断完善项目。
Project Cover
aspnetboilerplate
ASP.NET Boilerplate 是一个为现代Web应用设计的通用框架,采用符合行业标准的工具和最佳实践,实现高效开发。框架支持最新的ASP.NET Core和EF Core,同时兼容ASP.NET MVC 5.x 和 EF 6.x。设计上注重模块化和扩展性,支持多租户功能,并提供从数据库到UI的集成解决方案。文档详细且包含快速入门指南,帮助开发者自动化常见任务,专注于业务逻辑。
Project Cover
loki
Loki是一个水平可扩展、高可用的多租户日志聚合系统,灵感源自Prometheus。它采用标签索引而非全文索引,大幅降低运营成本和复杂度。Loki尤其适合Kubernetes环境,能自动抓取和索引Pod元数据。通过与Prometheus共用标签系统,Loki实现了指标与日志的无缝集成。此外,Loki在Grafana中提供原生支持,便于查询和可视化日志数据。
Project Cover
dotnet-starter-kit
基于ASP.NET Core 8的全栈开发框架,整合Web API和Blazor客户端。采用清晰架构设计,内置多租户支持,包含核心功能包。使用Entity Framework Core 8、MediatR、PostgreSQL等技术,提高开发效率。框架处于开发阶段,提供快速启动指南供开发者尝试。
Project Cover
dify-sandbox
Dify-Sandbox是一个开源的、面向多租户环境的安全沙箱系统,专为执行不受信任代码而设计。它在Linux系统上提供受控的执行环境,通过有效限制资源使用和系统调用,确保代码安全运行。该项目利用Docker容器技术,简化了安装和使用流程。Dify-Sandbox为开发者提供了一个安全可靠的代码执行平台,适用于各种需要隔离运行环境的应用场景,是一个功能强大且易于使用的开源解决方案。
Project Cover
RuoYi-Vue-Plus
RuoYi-Vue-Plus是一个开源框架,基于Spring Boot构建,针对分布式集群和多租户环境优化。框架集成了权限管理、数据权限控制、多数据源支持、缓存机制和分布式事务处理等核心功能。采用插件化架构设计,便于功能扩展。支持Docker容器化部署,简化运维流程。技术栈包括Vue3、Sa-Token和Mybatis-Plus等现代化工具,有效提升开发效率和系统性能表现。
Project Cover
stack
Stack Auth是一款开源的身份验证和授权管理工具,提供简单易用的API和组件。支持多种登录方式、用户管理、多租户和基于角色的访问控制等功能,可快速集成到Next.js项目中。作为Clerk和Auth0的开源替代方案,Stack Auth包括OAuth、密码凭证、魔法链接登录,以及用户仪表板、账户设置等特性。它提供托管服务和自托管选项,适用于各种规模的项目需求。
投诉举报邮箱: service@vectorlightyear.com
@2024 懂AI·鲁ICP备2024100362号-6·鲁公网安备37021002001498号