papaya

Papaya 并发哈希表优化读取密集型工作负载

papaya 并发哈希表无锁API 原子操作异步编程 Github 开源项目

Papaya是一个并发哈希表，专为读取密集型工作负载优化。它提供无锁API、原子操作和异步支持，具有高可扩展性和低延迟读取性能。Papaya保证所有操作的延迟可预测，采用高效内存管理和垃圾回收，适合需要高吞吐量和一致性能的应用场景。

Mooncake - 大语言模型服务架构采用KVCache分离设计

GithubKVCacheLLM服务Mooncake分离架构吞吐量开源项目

Mooncake是一种创新的大语言模型服务架构。它采用以KVCache为中心的分离设计，将预填充和解码集群分开，并充分利用GPU集群的闲置资源实现KVCache的分布式缓存。Mooncake的核心调度器在确保延迟服务水平目标的同时，最大化系统的有效吞吐量。通过实施预测性早期拒绝策略，该架构在高负载情况下表现优异，尤其适合长上下文场景。实验结果表明，在特定模拟环境中，Mooncake能够在满足服务水平目标的前提下，将系统吞吐量提升525%。

cockroach - 分布式SQL数据库为现代数据应用提供高扩展性

CockroachDBGithubSQL数据库云原生分布式数据库开源项目水平扩展

CockroachDB是一款分布式SQL数据库，专为构建和管理现代数据密集型应用设计。它支持水平扩展、高可用性和强一致性ACID事务。CockroachDB提供熟悉的SQL接口，结合了事务性和强一致性的键值存储，为数据管理提供可靠高效的解决方案。其特点包括最小化延迟中断和无需人工干预的自动化运维。

databend - 高性能云数据仓库，基于 Rust 构建，适合大规模数据分析与人工智能

AI分析DatabendGithub云数据仓库开源项目性能基准测试数据格式热门

Databend 是一个开源、高性能的云数据仓库，使用 Rust 构建，专为复杂的数据分析设计。它整合了 AWS S3、Azure Blob 等服务，支持 ACID 事务、版本控制和无模式的数据存储，确保数据完整性与灵活性。Databend 支持多种数据格式，如 JSON、CSV、Parquet 等，提供高速查询执行与数据摄入，是成本效益高的 Snowflake 替代方案。此外，Databend 的 AI 功能支持高级分析，提供社区驱动的用户友好体验，适合企业和开发者快速部署和使用。

doris - MPP架构实时分析数据库提供亿级数据秒级响应

Apache DorisGithubMPP架构SQL查询分析性能开源项目数据库

Apache Doris是基于MPP架构的开源实时分析数据库，可在海量数据下实现亚秒级响应。它支持高并发点查询和复杂分析，适用于报表分析、即席查询、统一数据仓库和数据湖查询加速等场景。Doris采用列式存储引擎，结合多种存储模型和索引结构，通过向量化查询引擎和自适应执行技术提升性能。该系统兼容MySQL协议，使用标准SQL，便于部署和扩展。

talaria - 分布式高可用时序数据库与事件摄取平台

GithubTalaria事件摄取大数据实时查询开源项目数据库

Talaria是为大数据系统设计的分布式时序数据库。它既可作为事件摄取平台，又可用作热数据存储，每小时可查询2-3TB数据，具有低延迟和低成本特点。Talaria支持SQL查询，兼容多种工具生态系统，并提供多种存储接口。通过Presto Thrift连接器，可与Presto无缝集成。作为开源项目，Talaria为用户提供了灵活的部署选项和自定义可能性，特别适合需要快速处理和查询大量时序数据的场景。

api-gateway - 高性能高并发的开源API网关系统

API网关ETCDGithubNetty开源项目高并发高性能

API-Gateway是一个开源的高性能API网关系统，适用于生产环境。它采用轻量级、异步化的架构设计，基于Netty实现高并发网络通信，使用Disruptor和MPMC构建异步队列。项目特性包括分布式集群注册中心、负载均衡和灰度发布。核心代码通过责任链和抽象模板等设计模式实现。在阿里云SLB环境下，支持十万并发的压测与调优，为API管理提供可靠解决方案。

peaks-consolidation - 实现大型CSV文件处理与分析高效跨平台工具

CSV文件处理Github开源项目数据查询文件分析文件预览跨平台应用

peaks-consolidation是一个开源项目，提供了一款跨平台工具，专注于大型CSV文件的高效处理。该工具能自动识别分隔符，支持文件即时预览和验证。项目还引入了新型查询语句，用于处理文件、内存表和网络流数据。其功能涵盖文件扩展、表连接、数据过滤、分组和排序等，显著提升了数据处理的效率和灵活性。值得一提的是，该项目支持多种编程语言（如Go、Rust、Python），并采用独特的文件分区验证方法，为用户提供了全面而强大的数据处理解决方案。

parquet-go - Go语言高性能Parquet文件处理库

GithubGo语言库parquet-go列式存储开源项目数据处理高性能

parquet-go是一个用Go语言开发的Parquet文件处理库。该项目由Twilio Segment初创，提供高级API用于读写Parquet文件，同时兼顾低计算和内存占用。支持Parquet格式规范，包括列式存储、模式演化、行组排序、行组合并和布隆过滤器等特性。parquet-go适合需要高效处理大规模数据集的场景，为Go开发者提供了实用的Parquet文件操作工具。

petastorm - 开源数据访问库，支持单机或分布式训练和评估深度学习模型，直接从Apache Parquet格式数据集中读取数据

Apache ParquetGithubPetastorm分布式训练开源项目机器学习框架深度学习

Petastorm是一个开源数据访问库，支持单机或分布式训练和评估深度学习模型，直接从Apache Parquet格式数据集中读取数据。该库兼容Tensorflow、PyTorch和PySpark等主流Python机器学习框架，也可用于纯Python代码。Petastorm支持多种数据压缩格式，提供方便的API用于数据生成和读取，并支持列选择、并行读取、行过滤等功能。用户可以轻松在单机或Spark集群上生成数据集，是构建高效机器学习管道的理想工具。

ambry - 企业级分布式对象存储系统

AmbryGithub低延迟分布式对象存储可扩展性开源项目高可用性

Ambry是一个分布式对象存储系统，可高效管理海量小型和大型对象。系统具备高可用性、可扩展性、低延迟和高吞吐量等特性。除了适用于Web公司的媒体对象存储，Ambry还可用于数据库备份、搜索索引和业务报告等多种场景。其易用性和成本效益使其成为企业级存储的理想选择。

相关项目

推荐项目

豆包MarsCode

豆包 MarsCode 是一款革命性的编程助手，通过AI技术提供代码补全、单测生成、代码解释和智能问答等功能，支持100+编程语言，与主流编辑器无缝集成，显著提升开发效率和代码质量。

AI写歌

Suno AI是一个革命性的AI音乐创作平台，能在短短30秒内帮助用户创作出一首完整的歌曲。无论是寻找创作灵感还是需要快速制作音乐，Suno AI都是音乐爱好者和专业人士的理想选择。

有言AI

有言平台提供一站式AIGC视频创作解决方案，通过智能技术简化视频制作流程。无论是企业宣传还是个人分享，有言都能帮助用户快速、轻松地制作出专业级别的视频内容。

Kimi

Kimi AI助手提供多语言对话支持，能够阅读和理解用户上传的文件内容，解析网页信息，并结合搜索结果为用户提供详尽的答案。无论是日常咨询还是专业问题，Kimi都能以友好、专业的方式提供帮助。

阿里绘蛙

绘蛙是阿里巴巴集团推出的革命性AI电商营销平台。利用尖端人工智能技术，为商家提供一键生成商品图和营销文案的服务，显著提升内容创作效率和营销效果。适用于淘宝、天猫等电商平台，让商品第一时间被种草。

吐司

探索Tensor.Art平台的独特AI模型，免费访问各种图像生成与AI训练工具，从Stable Diffusion等基础模型开始，轻松实现创新图像生成。体验前沿的AI技术，推动个人和企业的创新发展。

SubCat字幕猫

SubCat字幕猫APP是一款创新的视频播放器，它将改变您观看视频的方式！SubCat结合了先进的人工智能技术，为您提供即时视频字幕翻译，无论是本地视频还是网络流媒体，让您轻松享受各种语言的内容。

美间AI

美间AI创意设计平台，利用前沿AI技术，为设计师和营销人员提供一站式设计解决方案。从智能海报到3D效果图，再到文案生成，美间让创意设计更简单、更高效。

稿定AI

稿定设计是一个多功能的在线设计和创意平台，提供广泛的设计工具和资源，以满足不同用户的需求。从专业的图形设计师到普通用户，无论是进行图片处理、智能抠图、H5页面制作还是视频剪辑，稿定设计都能提供简单、高效的解决方案。该平台以其用户友好的界面和强大的功能集合，帮助用户轻松实现创意设计。

使用协议隐私政策广告服务

投诉举报邮箱: service@vectorlightyear.com