#分布式存储

longhorn - Kubernetes分布式块存储系统 提供可靠持久化存储
LonghornKubernetes分布式存储云原生容器Github开源项目
Longhorn为Kubernetes环境提供分布式块存储。该系统基于云原生架构,支持简单安装、持久卷管理、企业级存储功能、增量快照和备份。Longhorn的特点包括无中断升级和图形化管理界面,是Kubernetes集群的理想存储解决方案。
ytsaurus - 开源分布式大数据存储与处理系统
YTsaurus大数据平台分布式存储MapReduceNoSQLGithub开源项目
YTsaurus是一个开源的分布式大数据系统,集成MapReduce模型、分布式文件系统和NoSQL键值数据库。该系统具有多租户架构、高可靠性和强大的扩展能力,可支持高达100万CPU核心和数千GPU,处理EB级数据。YTsaurus提供友好的用户界面,并集成ClickHouse和Apache Spark,为数据分析和ETL工作流程提供全面支持。
curve - 高性能云原生分布式存储系统
Curve分布式存储云原生CNCF块存储Github开源项目
Curve是一个云原生分布式存储系统,支持文件存储(CurveFS)和块存储(CurveBS)。作为CNCF沙箱项目,Curve具有高性能、稳定性和易操作性。它适用于虚拟机/容器云盘、数据库存储分离架构、AI训练和大数据场景的热冷数据自动分层存储。Curve可与OpenStack、Kubernetes等平台对接,支持私有云、公有云或混合云部署,提供灵活、高效、低成本的存储解决方案。
etcd - 分布式高可用键值存储系统
etcd分布式存储键值存储高可用性Raft算法Github开源项目
etcd是一个开源的分布式键值存储系统,专为存储分布式系统中的关键数据而设计。它采用Raft共识算法实现高可用性,提供简洁的gRPC API接口、自动TLS加密和快速的读写性能。etcd广泛应用于生产环境,特别适合与Kubernetes集成。系统自带etcdctl命令行工具,并通过严格的健壮性测试保证稳定可靠。
File-System-Paper - 全面梳理文件系统前沿研究进展
文件系统分布式存储FUSE崩溃一致性性能优化Github开源项目
File-System-Paper项目全面梳理了文件系统领域的研究进展,涵盖本地和分布式文件系统、用户空间文件系统等多个方向。同时深入探讨了崩溃一致性、碎片整理和多核可扩展性等技术挑战,为文件系统研究提供了系统性参考。
accumulo - 可扩展的分布式排序键值存储系统
Apache Accumulo分布式存储大数据键值存储HadoopGithub开源项目
Apache Accumulo是一个开源的分布式排序键值存储系统,专为大规模数据存储和检索而设计。它基于Apache Hadoop的HDFS进行数据存储,并利用Apache Zookeeper实现分布式协调。Accumulo支持跨集群管理海量数据集,提供高性能、安全性和可扩展性。其独特的单元级安全机制和灵活的数据模型使其适用于各种复杂的大数据应用场景。
glusterfs - 开源分布式存储系统 支持PB级数据管理
Gluster分布式存储开源软件文件系统可扩展性Github开源项目
Gluster是开源的分布式存储系统,可扩展至PB级容量。它支持对象、块和文件存储,兼容多种操作系统。系统具备高扩展性和灵活性,适合大规模数据管理。项目社区活跃,提供完善文档和贡献指南,便于用户使用和开发。