AutoMQ：通过将持久性分离到S3和EBS实现的云优先Kafka替代方案

🍵 AutoMQ与其他流处理平台对比

特性	AutoMQ	Apache Kafka	Confluent	Apache Pulsar	Redpanda	Warpstream
Apache Kafka兼容性[1]	原生Kafka			非Kafka	Kafka协议
源代码可用性	是	是	否	是	是	否
无状态Broker	是	否	否	是	否	是
发布者延迟(P99)	个位数毫秒延迟					> 620毫秒
持续自平衡	是	否	是	是	是	是
扩缩容	秒级	小时/天级	小时级	小时级 (缩容); 秒级 (扩容)	小时级秒级 (仅企业版)	秒级
竞价实例支持	是	否	否	否	否	是
分区重新分配	秒级	小时/天级	小时级	秒级	小时级秒级 (仅企业版)	秒级
组件	Broker	Broker Zookeeper (非KRaft)		Broker Zookeeper Bookkeeper Proxy(可选)	Broker	Agent MetadataServer
持久性	由S3/EBS保证[2]	由ISR保证		由Bookkeeper保证	由Raft保证	由S3保证
跨可用区网络费用	无	有				无

[1] Apache Kafka兼容性的定义来自这篇博客。

[2] EBS持久性：在Azure、GCP和阿里云上，区域性EBS副本跨多个可用区。在AWS上，通过向不同可用区的EBS和S3 Express One Zone双写确保持久性。

🔶 为什么选择AutoMQ

成本效益高：首个真正的云原生流存储系统，为云上最佳成本和效率而设计。参考此报告了解我们如何在云上将Apache Kafka账单削减90%。
高可靠性：利用云共享存储服务（EBS和S3）实现零RPO、秒级RTO和99.999999999%的持久性。
无服务器：
- 自动扩缩容：监控集群指标并自动扩缩容以适应您的工作负载，实现按需付费模式。
- 秒级扩缩容：计算层（Broker）无状态，可在秒级内扩缩容，使AutoMQ成为真正的无服务器解决方案。
- 无限可扩展：利用云对象存储作为主要存储解决方案，消除存储容量的担忧。
低管理成本：内置自动均衡器组件自动在Broker之间调度分区和网络流量，无需手动重新分配分区。
高性能：
- 低延迟：利用高性能EBS作为WAL加速写入，实现个位数毫秒延迟。
- 高吞吐量：利用预取、批处理和并行技术最大化云对象存储的能力。
参考AutoMQ性能白皮书了解我们如何实现这一点。
Apache Kafka的卓越替代品：与Apache Kafka 100%兼容，不丢失任何关键功能，但更便宜、更好。

✨架构

AutoMQ采用共享存储架构，以存储计算分离的方式用名为S3Stream的共享流存储库替换Apache Kafka的存储层，使Broker完全无状态。与传统的Kafka共享无状态或分层存储架构相比，AutoMQ的计算层（Broker）是真正无状态的，实现了自动扩缩容、自平衡和秒级分区重分配等功能，显著降低了成本并提高了效率。

⛄ 开始使用AutoMQ

在单机上本地部署

curl https://download.automq.com/community_edition/standalone_deployment/install_run.sh | bash

这是运行AutoMQ最简单的方式。你可以在本地机器上体验秒级分区重分配和持续自平衡等功能。了解更多

还有更多部署选项可供选择：

💬 社区

你可以加入以下群组或频道，讨论或询问有关AutoMQ的问题：

通过GitHub Issues提问或报告错误
通过Slack或微信群讨论AutoMQ或Kafka

👥 如何贡献

如果你发现AutoMQ存在问题，请打开GitHub Issues。要为AutoMQ做出贡献，请参阅行为准则和贡献指南。我们有一系列适合新手的问题，可以帮助你入门、获得经验并熟悉我们的贡献流程。要认领一个问题，只需在问题下回复"pick up"，AutoMQ维护者就会将问题分配给你。如果你对"适合新手的问题"有任何疑问，请随时询问。我们将尽最大努力解答你的任何疑问。