Kaskada: 现代化开源事件处理引擎

kaskada

什么是Kaskada?

Kaskada是一个现代化的开源事件处理引擎,它为处理批量和实时事件数据提供了一个统一的解决方案。Kaskada的核心是一种专门设计用于处理事件数据的高级声明式查询语言,这种语言结合了SQL的最佳特性,但更加简洁、可组合,并且专门针对事件处理进行了优化。

Kaskada logo

Kaskada的主要特性

有状态聚合: Kaskada可以聚合事件以产生连续的时间流,这些时间流的值可以在任意时间点被观察。
自动连接: 每个表达式都与一个"实体"相关联,这允许表和表达式自动连接,减少了冗余的样板代码。
基于事件的窗口: 随着时间的推移收集事件,并根据其他事件对它们进行聚合。有序聚合使描述时间交互变得简单。
流水线操作: 管道语法允许多个操作链接在一起。你可以按照思考的顺序编写操作,所有操作都基于时间流,这使得对聚合结果再次聚合变得容易。
行生成器: 从事件转向时间序列。与分组聚合不同,生成器即使在没有输入时也会产生行,允许你对没有发生的事情做出反应。
连续表达式: 在任意时间点观察聚合的值。时间流可以是"离散的"(瞬时值或事件)或"连续的"(由有状态聚合产生的值)。连续时间流让你可以结合从不同事件源计算出的聚合。
原生时间旅行: 将值向前(但不向后)移动时间,允许你在不冒时间泄漏风险的情况下组合不同的时间上下文。移位值使比较"现在"的值和过去的值变得容易。
简单、可组合的语法: 一切都是函数。没有全局状态,没有依赖关系需要管理,也没有远距离的奇怪行为。快速理解查询在做什么,并轻松重构以使其更加简洁。

Kaskada的技术实现

Kaskada是用Rust语言实现的,并构建在Apache Arrow之上。选择Rust是因为其性能、安全性、无垃圾收集以及对列式数据格式的支持。实现利用了Apache Arrow进行事件处理,并利用了现代CPU优化,如SIMD、分支预测和缓存。

计算是通过对输入事件进行单次时间顺序的遍历来实现的,因此可以计算显著大于可用内存的数据集。在内部,事件以Parquet文件的形式存储在磁盘上。大多数计算都受到I/O的瓶颈,因此使用高效的列式文件格式可以选择性地读取生成结果所需的列和行范围。

Kaskada timeline

Kaskada如何工作?

Kaskada的核心概念是"时间线"。时间线描述了一个值如何随时间变化。与在固定周期时间定义的时间序列(例如,每分钟)不同,时间线可以在任意时间点定义。

使用Kaskada,您可以轻松地对这些时间线进行转换和聚合。例如,以下是一个简单的求和操作:

Purchase.amount | sum()

这个操作会产生一个新的时间线,描述聚合结果如何随时间变化。

Kaskada的查询语言还允许您轻松地描述复杂的时间上下文聚合。例如,以下查询计算自上次购买以来的页面浏览次数:

Pageview
| count(since(Purchase))

这种简单而强大的语法使得处理复杂的事件处理场景变得容易。

Kaskada vs 传统SQL

与传统SQL相比,Kaskada在处理时间和顺序相关的查询时有显著优势。例如,如果您想知道每个用户自上次购买以来访问了多少次网站,使用SQL可能需要编写复杂的查询:

WITH last_purchase AS(
    SELECT user_id, max(timestamp) FROM purchase GROUP BY user_id
)

SELECT user_id, count(*)
FROM pageview
JOIN last_purchase ON pageview.user_id = last_purchase.user_id
WHERE pageview.timestamp > last_purchase.timestamp
GROUP BY user_id

而使用Kaskada,同样的查询可以简化为: