#分布式系统

Databag是一款为自托管设计的联邦式消息应用，它支持跨节点通讯，并提供多因素认证及端到端加密功能。此外，Databag支持音视频通话，并能在多种设备上实现低延迟运行，同时为用户提供实时通知。

Rill Flow 是一款高性能和可扩展的分布式工作流管理服务，支持每日处理数以千万计的任务，执行延迟低于100毫秒。核心功能包括易用的可视化流程编排、插件集成、云原生容器部署与函数编排，并支持快速集成大型语言模型服务，适用于异构分布式系统的编排与调度。

Pinpoint是一款为大规模分布式系统设计的应用性能管理工具，支持Java、PHP和Python等语言。通过跟踪跨分布式应用的事务流，Pinpoint帮助用户快速了解应用的拓扑结构，实现实时性能监控和代码级事务可视化。安装APM代理无需修改代码，对系统性能影响微小。工具支持多种主流模块和框架，如Tomcat、Spring及MySQL，并兼容多个Java、HBase和Flink版本，提供全面的性能管理解决方案。

经验丰富的技术架构师，个体贡献者，云架构师及多语言开发者，擅长Java, Python, Scala等编程语言，拥有在大型分布式、云计算及大数据架构方面的丰富经验，并为众多高需求客户提供服务。

Systemizer是一款用于创建和仿真大规模分布式系统的设计工具。用户可以选择组件（如API、客户端、消息队列等），创建自定义端点并连接组件，以观察数据流动。安装步骤简单，提供详细文档和贡献指南。访问GitHub页面，开始使用Systemizer构建和仿真系统。

此开源项目精心筛选了大量分布式系统的相关资料，包括架构、理论和实际应用等方面。用户可通过阅读经典书籍、必读论文、博客、课程及观看视频，全面学习分布式系统的原理及实践方法。适合工程师、研究人员及任何对分布式系统有兴趣的人士。

Apache SINGA是一个高效的分布式深度学习系统，支持快速安装和多平台构建。提供丰富的示例和开发资源，可以在最新文档和代码分析中了解更多信息，并通过JIRA提交问题反馈。探索如何利用Apache SINGA实现高效的深度学习解决方案。

kafka-go是一款Go语言开发的高性能Kafka客户端库，提供低级和高级API与Kafka交互。该库实现Go标准库接口，易于使用和集成，支持生产者、消费者和消费者组功能。它具备自动重试、重连和偏移量管理等特性，适用于Kafka 0.10.1.0至2.7.1版本，需要Go 1.15或更高版本。

《Go语言高级编程》一书详细探讨了Go语言的高级主题,涵盖CGO、Go汇编、RPC、Web框架和分布式系统等内容。该书面向具有Go语言基础的开发者,深入阐述了Go语言高级特性的应用。作者从专业角度展示了Go语言在复杂系统开发中的实践技巧,为读者提供了全面的Go语言高级编程指南。

该仓库汇集了系统设计的核心概念、权衡决策、基础组件和架构模式等全方位学习资源。内容包括由浅入深的面试题解析、推荐书籍和视频课程,以及业界工程实践文章。对系统设计初学者和资深工程师alike,都能在此获取宝贵知识,全面提升技能并为面试做好准备。

该项目收录了互联网上优质的系统设计资源,涵盖视频处理、集群管理、分布式系统等多个技术领域。内容包括Facebook、Google、Netflix等顶级科技公司的实践经验,为工程师提供了解大规模系统架构的参考。项目资料可用于系统设计面试准备或提升架构能力。

Hollywood是一个Go语言开发的高性能Actor引擎，专注于低延迟应用。每秒可处理1000万条消息，适用于游戏服务器、广告系统和交易引擎等场景。它提供消息投递保证、远程通信和集群支持，并使用protobuf进行高效序列化。Hollywood易用且高度可定制，是构建高并发分布式系统的有力工具。

Cadence是一个开源的分布式工作流平台，为微服务架构提供可靠的解决方案。该平台支持Go、Java等多种编程语言，并配备CLI和Web UI等实用工具。Cadence专注于长时间运行和容错的业务流程，有效简化了复杂分布式系统的开发难度。

cadence-java-client是基于Uber开发的Cadence分布式编排引擎的Java框架，用于编写工作流和活动。它提供可扩展、持久和高可用的长时间运行业务逻辑执行能力，支持异步操作。此框架适用于需要处理复杂工作流的企业级应用，确保业务流程的弹性和可靠性。

该项目系统整理了Java工程师进阶所需的核心知识，涵盖高并发、分布式系统、高可用架构、微服务和海量数据处理等领域。内容包括消息队列、搜索引擎、缓存策略、分库分表等实践经验，帮助开发者深入理解现代互联网架构设计。项目资料丰富实用，适合Java工程师用于技术能力提升和实践参考。

Open Source Vizier是一个Python开发的黑盒优化框架，源自Google Vizier项目。它提供用户、开发者和基准测试三大API，支持分布式多客户端环境。该框架集成了基于JAX的贝叶斯优化器，适用于超参数调优、进化算法和程序搜索等多种场景。作为开源项目，Vizier具有灵活的安装选项，可满足不同的优化研究需求。

Unison是一种现代化的静态类型纯函数式编程语言，专注于分布式系统开发。它允许开发者用单一程序描述完整的分布式系统，支持本地模拟和实际分布式环境运行。Unison提供了强大的分布式计算库构建能力，采用独特的代码库管理方式，并支持语言服务器协议（LSP）。该项目目前处于活跃开发阶段，并提供Web界面便于使用。

AIStore是专为AI应用设计的轻量级存储系统,具备线性扩展能力和运行时节点弹性。支持从单机到大规模集群部署,提供统一命名空间、ETL卸载和文件数据集等功能。AIStore与PyTorch集成,采用REST API和S3兼容接口,支持多种后端存储,适用于AI和深度学习工作负载。

Hatchet是一款开源的分布式任务队列系统，旨在替代传统队列和发布/订阅模型。它具备高并发处理能力，支持公平调度和速率限制，同时保证超低延迟和高吞吐量。Hatchet提供任务可观察性、持久化执行和灵活调度等功能，适用于AI推理、大规模批处理和复杂工作流编排等场景。系统支持Python、TypeScript和Go语言SDK，便于与现有技术栈集成。Hatchet简化了任务队列管理，有效提升了系统可靠性和开发效率。

Pinpoint-Docker项目提供完整的Docker化Pinpoint组件集。使用Docker Compose可在10分钟内快速部署Pinpoint环境，包括Web服务器、收集器和代理等核心模块。支持最新版Pinpoint功能，如URI指标和基础设施监控。主要面向开发测试场景，有助于快速验证监控方案。

Ratus是一个开源的异步任务队列服务器,提供RESTful API接口。它支持多种存储引擎,实现了至少一次执行保证、统一的调度模型、任务级超时控制和负载均衡等功能。Ratus易于部署和扩展,适用于需要可靠任务调度的分布式系统。其简洁强大的API可轻松集成到不同语言和框架中。

Stl.Fusion是一个创新的.NET框架，通过分布式响应式记忆化技术处理大规模分布式状态。它解决了缓存、实时更新和网络通信等问题，大幅提升应用性能。Fusion简化了实时和离线功能开发，支持Blazor等多平台，并实现高度代码复用。其智能缓存和失效机制为开发高效、可扩展的应用提供了强大支持。

RuoYi-Vue-Plus是一个开源框架，基于Spring Boot构建，针对分布式集群和多租户环境优化。框架集成了权限管理、数据权限控制、多数据源支持、缓存机制和分布式事务处理等核心功能。采用插件化架构设计，便于功能扩展。支持Docker容器化部署，简化运维流程。技术栈包括Vue3、Sa-Token和Mybatis-Plus等现代化工具，有效提升开发效率和系统性能表现。

Asynq是基于Redis的Go语言分布式任务队列库,提供简单API创建和处理异步任务。支持任务调度、重试、优先级队列等功能,具有高可靠性和可扩展性。适用于需要异步处理大量任务的场景。项目配备Web UI和CLI工具便于监控管理。

该项目收集了多种共识算法和分布式锁服务的资源,包括Paxos、Raft、Zookeeper等主流算法的理论基础和实践应用。同时涵盖了Paxos变体、Viewstamped Replication、CASPaxos等新兴算法。项目还提供分布式共识的综述材料,为分布式系统研究提供全面参考。

llama-agentic-system是基于Llama 3.1构建的智能系统,具备任务分解、多步推理和工具使用能力。系统集成了模型推理、安全检查和代码执行环境,并通过Llama Guard进行内容过滤,为开发者提供了构建生成式AI应用的完整工具链。

stamina是一个基于Tenacity的Python重试库，为分布式系统提供高效的错误处理机制。该库支持自定义异常重试、指数退避、限制重试次数和总时间，可与Prometheus和structlog等工具集成。stamina具备异步操作支持，兼容Trio，并保留被装饰函数的类型提示。其设计注重易用性和正确性，有助于开发者构建更具弹性的分布式系统。

raft是一个C语言实现的Raft共识协议库，为分布式系统提供高效可靠的共识机制。它采用模块化设计，核心部分实现Raft算法逻辑，并提供可插拔的I/O接口。该库支持领导者选举、日志复制、日志压缩和成员变更等基本功能，还包含性能优化选项。raft使用libuv提供默认I/O实现，并支持LZ4压缩，适用于构建各类分布式应用。raft库特别适用于需要强一致性的分布式系统，如分布式数据库、配置管理系统等。其异步设计和优化选项使其在高并发场景下表现出色。

Scylla是一个实时大数据NoSQL数据库，API兼容Apache Cassandra和Amazon DynamoDB。采用无共享架构，大幅提高吞吐量和存储容量，实现性能数量级提升，同时降低硬件成本。项目提供冻结工具链简化构建，支持开发者模式运行，并配有详细文档、培训资料和活跃社区。

y-crdt是一个基于Rust实现的CRDT库集合，专注于复现Yjs算法和协议。该项目提供跨语言和跨平台支持，保持与Yjs的行为和二进制协议兼容性。核心组件包括lib0序列化库、yrs核心库、yffi C接口封装和ywasm WebAssembly封装。y-crdt支持Python和Ruby等多种语言绑定，为开发者提供灵活的实时协作数据同步功能。

KairosDB是基于Cassandra的开源分布式时间序列数据库。它具有快速查询、高扩展性和灵活数据模型等特点。支持多种部署方式，包括Kubernetes。适用于物联网数据、监控指标、金融市场等领域的时间序列数据存储和分析。项目采用Apache License 2.0许可，欢迎社区参与核心开发、文档改进等工作。

GraphScope是一个统一的分布式图计算平台，通过Python接口在计算机集群上执行各种图操作。它整合了GRAPE、MaxGraph和Graph-Learn等技术，分别用于图分析、交互式查询和图神经网络计算，并利用Vineyard存储实现高效内存数据传输。该平台能够处理大规模图数据，适用于复杂的图计算场景，为用户提供全面的图数据处理解决方案。

该项目汇总了分布式系统设计相关的高质量学习资源,包括文章、视频、书籍和工具等。内容涵盖系统设计面试、分布式计算、微服务架构、可扩展性模式等核心主题。提供从入门到进阶的全面指南,适合准备面试或实际设计分布式应用的工程师使用。资源类型丰富,包括GitHub开源项目、经典书籍、视频教程,以及数据库、消息队列、流处理等常用工具介绍。对分布式系统感兴趣的开发者可以在此找到系统全面的学习路径。

Brooklin是一个分布式系统，用于在异构源系统和目标系统之间进行高可靠、高吞吐量的大规模数据流传输。它支持多租户，能同时处理数百个跨系统数据管道，并易于扩展以适配新的数据源和目标。Brooklin具备优秀的可扩展性和易操作性，支持变更数据捕获和数据引导功能。该系统已在Kafka集群镜像等实际场景中得到大规模验证。

Celery是一个分布式任务队列系统,用于在线程或机器间分配工作。支持多种消息代理和结果后端,具有高可用性和可扩展性。易于使用和维护,支持自定义功能。适用于Python 3.8+和PyPy3.9+环境,可与多种Web框架集成。Celery支持异步任务处理和定时任务调度,适用于各种规模的应用场景。

Fluvio是基于Rust和WebAssembly的轻量级分布式数据流系统。该系统支持快速部署本地集群、创建主题、生产和消费数据。Fluvio具备自定义连接器和智能模块功能，可与多种系统集成并进行数据转换。此外，Fluvio提供多语言客户端API，并有云托管服务可用，适合构建各类数据流处理应用。