Hatchet:分布式、容错的任务队列系统

hatchet

Hatchet:革新分布式任务处理的利器

在当今复杂的分布式系统中,任务队列扮演着至关重要的角色。然而,传统的队列系统往往难以管理,无法很好地应对并发、公平性和速率限制等挑战。Hatchet应运而生,它是一个创新的开源分布式任务队列系统,旨在彻底改变我们处理分布式任务的方式。

什么是Hatchet?

Hatchet是一个分布式、容错的任务队列系统,旨在替代难以管理的传统队列或发布订阅系统。它允许开发者设计可恢复的持久工作负载,轻松解决并发、公平性和速率限制等常见问题。使用Hatchet,您只需最少的配置和基础设施,就能在一组工作节点之间分发函数。

Hatchet工作原理

Hatchet的主要特性

超低延迟和高吞吐量调度: Hatchet建立在低延迟队列之上,完美平衡了实时交互能力和关键任务所需的可靠性。
内置并发、公平性和速率限制策略: Hatchet提供FIFO、LIFO、轮询和优先级队列等内置策略,只需最少的配置即可规避常见的扩展陷阱。
设计即可恢复: 通过可自定义的重试策略和集成的错误处理,Hatchet确保您的操作能够从瞬时故障中迅速恢复。您可以将大型作业分解为小任务,无需重新运行整个工作流即可完成运行。
增强的可观察性和控制:
- 所有运行都可完全搜索,便于快速识别问题
- 跟踪延迟、错误率或自定义指标
- 可重播事件并从工作流的特定步骤手动恢复执行
- 支持设置函数运行的周期性计划(Cron)
- 可在未来特定时间和日期调度一次性函数运行
- 平滑流量高峰,只执行系统能够处理的任务
- 可订阅后台工作者中函数进度的增量更新

Hatchet的应用场景

生成式AI的公平性: 防止繁忙用户压垮系统。Hatchet允许您通过可配置策略公平地将请求分发给工作者。
文档索引的批处理: Hatchet可以处理大规模文档、图像和其他数据的批处理,并在失败时从中断处恢复。
多模态系统的工作流编排: Hatchet可以处理多模态输入和输出的编排,支持完整的DAG式执行。
基于事件处理的正确性: 响应外部事件或系统内部事件,并自动重放事件。

快速上手Hatchet

Hatchet提供云托管版本和自托管选项。您可以参考以下文档快速入门:

Hatchet支持多种技术栈,提供Python、TypeScript和Go的开源SDK。以下是各语言的快速入门指南:

Hatchet vs 其他替代方案

为什么要构建另一个管理队列?Hatchet的创建者们希望构建一个具有完整事务入队优势的系统,特别适用于依赖性的DAG式执行。他们坚信,对于99.9%的队列用例,PostgreSQL比大多数替代方案(如Celery使用的Redis或RabbitMQ,BullMQ使用的Redis)更适合。自从引入SKIP LOCKED和最近PostgreSQL版本的里程碑(如主动-主动复制)以来,在多个区域水平扩展PostgreSQL和垂直扩展到每秒10,000次事务或更多变得更加可行。

此外,Hatchet的设计目标是让应用程序开发人员更容易使用和调试。通常,构建任务可观察性的负担落在基础设施/平台团队身上(例如,要求基础设施团队根据导出的Prometheus指标为任务构建Grafana视图)。Hatchet将这种可观察性直接构建到系统中。